Legogpt

🚀 LegoGPT

LegoGPT是首個能根據文本提示生成物理穩定的樂高積木模型的模型。它基於特定數據集對基礎模型進行微調，可助力用戶通過文本便捷創建樂高模型。

🚀 快速開始

可查看 GitHub倉庫 獲取使用示例和交互式CLI演示。

✨ 主要特性

• 能夠根據文本提示生成物理穩定的樂高積木模型。
• 基於特定數據集進行訓練，對21種物體類別的文本提示有較好的處理能力。

📚 詳細文檔

模型詳情

模型描述

模型來源

侷限性

該模型僅限於在20x20x20的網格上創建由1單位高的長方體磚塊組成的結構。它在包含21種物體類別的數據集上進行訓練，這些類別包括籃子、床、長凳、鳥屋、書架、瓶子、碗、公共汽車、相機、汽車、椅子、吉他、罐子、杯子、鋼琴、鍋、沙發、桌子、塔、火車、容器。對於這些類別之外的文本提示，模型的性能可能會受到限制。

訓練詳情

訓練數據

LegoGPT使用 StableText2Lego 進行訓練，這是一個包含47k個樂高結構的數據集。

訓練過程

該模型使用LoRA對q_proj和v_proj矩陣進行微調。採用AdamW優化器，學習率遵循帶熱身的餘弦衰減策略。

訓練超參數

評估

詳細評估請參閱 論文。

環境影響

引用

如果您發現此模型對您的研究有用，請引用以下工作：

@article{pun2025legogpt,
    title   = {Generating Physically Stable and Buildable LEGO Designs from Text},
    author  = {Pun, Ava and Deng, Kangle and Liu, Ruixuan and Ramanan, Deva and Liu, Changliu and Zhu, Jun-Yan},
    journal = {arXiv preprint arXiv:2505.05469},
    year    = {2025}
}

模型卡片聯繫人

Ava Pun (apun@andrew.cmu.edu)

框架版本

• PEFT 0.15.0

📄 許可證

本模型採用MIT許可證。