Brickgpt

🚀 BrickGPT

BrickGPT是首個可根據文本提示生成物理穩定的玩具積木模型的模型。它基於特定的數據集對基礎模型進行微調，能夠在一定範圍內生成各種積木結構。

🚀 快速開始

若要了解使用示例和交互式CLI演示，請查看GitHub倉庫。

✨ 主要特性

• 能夠根據文本提示生成物理穩定的玩具積木模型。
• 基於特定數據集進行訓練，對21種物體類別的提示有較好的處理能力。

📦 安裝指南

文檔未提供安裝步驟，暫不展示。

💻 使用示例

文檔未提供代碼示例，暫不展示。

📚 詳細文檔

模型詳情

模型描述

• 開發者：卡內基梅隆大學生成智能實驗室
• 資助方：本研究部分由帕卡德基金會、思科研究基金和亞馬遜教職員工獎資助。同時，該研究部分得到了卡內基梅隆大學制造未來研究所的支持，該研究所獲得了理查德·金·梅隆基金會的資助。KD得到了微軟研究院博士獎學金的支持。
• 模型類型：自迴歸
• 語言：英語
• 許可證：MIT
• 微調基礎模型：meta-llama/Llama-3.2-1B-Instruct
• 項目頁面：https://avalovelace1.github.io/BrickGPT/

模型來源

• 倉庫：AvaLovelace1/BrickGPT
• 論文：Generating Physically Stable and Buildable LEGO® Designs from Text
• 演示：cmu-gil/BrickGPT-Demo

侷限性

該模型僅限於在20x20x20的網格上創建由1單位高的長方體積木組成的結構。它在21種物體類別的數據集上進行訓練，這些類別包括籃子、床、長凳、鳥屋、書架、瓶子、碗、公共汽車、相機、汽車、椅子、吉他、罐子、杯子、鋼琴、鍋、沙發、桌子、塔、火車、容器。對於這些類別之外的提示，模型的性能可能會受到限制。

訓練詳情

訓練數據

BrickGPT使用StableText2Brick進行訓練，這是一個包含47k個玩具積木結構的數據集。

訓練過程

該模型使用LoRA對q_proj和v_proj矩陣進行微調。採用AdamW優化器，學習率遵循帶熱身的餘弦衰減策略。

訓練超參數

評估

若要查看詳細評估，請參閱論文。

環境影響

• 硬件類型：8x NVIDIA RTX A6000 (48 GB)
• 使用時長：0.5小時

引用

如果您發現該模型對您的研究有用，請引用以下工作：

@article{pun2025brickgpt,
    title   = {Generating Physically Stable and Buildable LEGO Designs from Text},
    author  = {Pun, Ava and Deng, Kangle and Liu, Ruixuan and Ramanan, Deva and Liu, Changliu and Zhu, Jun-Yan},
    journal = {arXiv preprint arXiv:2505.05469},
    year    = {2025}
}

模型卡片聯繫人

Ava Pun (apun@andrew.cmu.edu)

框架版本

• PEFT 0.15.0

📄 許可證

本模型使用MIT許可證。