Brickgpt

🚀 BrickGPT

BrickGPT是首个可根据文本提示生成物理稳定的玩具积木模型的模型。它基于特定的数据集对基础模型进行微调，能够在一定范围内生成各种积木结构。

🚀 快速开始

若要了解使用示例和交互式CLI演示，请查看GitHub仓库。

✨ 主要特性

• 能够根据文本提示生成物理稳定的玩具积木模型。
• 基于特定数据集进行训练，对21种物体类别的提示有较好的处理能力。

📦 安装指南

文档未提供安装步骤，暂不展示。

💻 使用示例

文档未提供代码示例，暂不展示。

📚 详细文档

模型详情

模型描述

• 开发者：卡内基梅隆大学生成智能实验室
• 资助方：本研究部分由帕卡德基金会、思科研究基金和亚马逊教职员工奖资助。同时，该研究部分得到了卡内基梅隆大学制造未来研究所的支持，该研究所获得了理查德·金·梅隆基金会的资助。KD得到了微软研究院博士奖学金的支持。
• 模型类型：自回归
• 语言：英语
• 许可证：MIT
• 微调基础模型：meta-llama/Llama-3.2-1B-Instruct
• 项目页面：https://avalovelace1.github.io/BrickGPT/

模型来源

• 仓库：AvaLovelace1/BrickGPT
• 论文：Generating Physically Stable and Buildable LEGO® Designs from Text
• 演示：cmu-gil/BrickGPT-Demo

局限性

该模型仅限于在20x20x20的网格上创建由1单位高的长方体积木组成的结构。它在21种物体类别的数据集上进行训练，这些类别包括篮子、床、长凳、鸟屋、书架、瓶子、碗、公共汽车、相机、汽车、椅子、吉他、罐子、杯子、钢琴、锅、沙发、桌子、塔、火车、容器。对于这些类别之外的提示，模型的性能可能会受到限制。

训练详情

训练数据

BrickGPT使用StableText2Brick进行训练，这是一个包含47k个玩具积木结构的数据集。

训练过程

该模型使用LoRA对q_proj和v_proj矩阵进行微调。采用AdamW优化器，学习率遵循带热身的余弦衰减策略。

训练超参数

评估

若要查看详细评估，请参阅论文。

环境影响

• 硬件类型：8x NVIDIA RTX A6000 (48 GB)
• 使用时长：0.5小时

引用

如果您发现该模型对您的研究有用，请引用以下工作：

@article{pun2025brickgpt,
    title   = {Generating Physically Stable and Buildable LEGO Designs from Text},
    author  = {Pun, Ava and Deng, Kangle and Liu, Ruixuan and Ramanan, Deva and Liu, Changliu and Zhu, Jun-Yan},
    journal = {arXiv preprint arXiv:2505.05469},
    year    = {2025}
}

模型卡片联系人

Ava Pun (apun@andrew.cmu.edu)

框架版本

• PEFT 0.15.0

📄 许可证

本模型使用MIT许可证。