Legogpt

🚀 LegoGPT

LegoGPT是首个能根据文本提示生成物理稳定的乐高积木模型的模型。它基于特定数据集对基础模型进行微调，可助力用户通过文本便捷创建乐高模型。

🚀 快速开始

可查看 GitHub仓库 获取使用示例和交互式CLI演示。

✨ 主要特性

• 能够根据文本提示生成物理稳定的乐高积木模型。
• 基于特定数据集进行训练，对21种物体类别的文本提示有较好的处理能力。

📚 详细文档

模型详情

模型描述

模型来源

局限性

该模型仅限于在20x20x20的网格上创建由1单位高的长方体砖块组成的结构。它在包含21种物体类别的数据集上进行训练，这些类别包括篮子、床、长凳、鸟屋、书架、瓶子、碗、公共汽车、相机、汽车、椅子、吉他、罐子、杯子、钢琴、锅、沙发、桌子、塔、火车、容器。对于这些类别之外的文本提示，模型的性能可能会受到限制。

训练详情

训练数据

LegoGPT使用 StableText2Lego 进行训练，这是一个包含47k个乐高结构的数据集。

训练过程

该模型使用LoRA对q_proj和v_proj矩阵进行微调。采用AdamW优化器，学习率遵循带热身的余弦衰减策略。

训练超参数

评估

详细评估请参阅 论文。

环境影响

引用

如果您发现此模型对您的研究有用，请引用以下工作：

@article{pun2025legogpt,
    title   = {Generating Physically Stable and Buildable LEGO Designs from Text},
    author  = {Pun, Ava and Deng, Kangle and Liu, Ruixuan and Ramanan, Deva and Liu, Changliu and Zhu, Jun-Yan},
    journal = {arXiv preprint arXiv:2505.05469},
    year    = {2025}
}

模型卡片联系人

Ava Pun (apun@andrew.cmu.edu)

框架版本

• PEFT 0.15.0

📄 许可证

本模型采用MIT许可证。