Legogpt

🚀 LegoGPT

LegoGPTは、テキストプロンプトから物理的に安定したLEGOブリックモデルを生成する初のアプローチです。Generating Physically Stable and Buildable LEGO® Designs from Textで説明されている通り、このモデルはmeta-llama/Llama-3.2-1B-Instructをファインチューニングして作成されました。

🚀 クイックスタート

モデルの使用例と対話型CLIデモについては、GitHubリポジトリを参照してください。

✨ 主な機能

• テキストプロンプトから物理的に安定したLEGOブリックモデルを生成します。
• 特定のカテゴリのオブジェクトに対応しています。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションをスキップします。

📚 ドキュメント

モデルの詳細

モデルのソース

• リポジトリ: AvaLovelace1/LegoGPT
• 論文: Generating Physically Stable and Buildable LEGO® Designs from Text
• デモ: cmu-gil/LegoGPT-Demo

制限事項

このモデルは、20x20x20のグリッド上にある1ユニットの高さの直方体ブリックで構成される構造物の作成に制限されています。21種類のオブジェクトカテゴリのデータセットでトレーニングされています: basket, bed, bench, birdhouse, bookshelf, bottle, bowl, bus, camera, car, chair, guitar, jar, mug, piano, pot, sofa, table, tower, train, vessel。これらのカテゴリ外のプロンプトに対する性能は制限される可能性があります。

トレーニングの詳細

トレーニングデータ

LegoGPTは、47kのLEGO構造物のデータセットであるStableText2Legoを使用してトレーニングされました。

トレーニング手順

このモデルは、q_proj と v_proj 行列にLoRAを適用してファインチューニングされました。AdamW最適化を使用し、学習率はウォームアップ付きのコサイン減衰に従いました。

トレーニングハイパーパラメータ

• トレーニング方式: bf16混合精度
• エポック数: 3
• グローバルバッチサイズ: 64
• 最大学習率: 0.002
• 学習率ウォームアップステップ数: 100
• LoRAランク: 32
• LoRAアルファ: 16
• LoRAドロップアウト: 0.05

評価

詳細な評価については、論文を参照してください。

環境への影響

• ハードウェアタイプ: 8x NVIDIA RTX A6000 (48 GB)
• 使用時間: 0.5時間

引用

このモデルがあなたの研究に役立つ場合、以下の論文を引用してください。

@article{pun2025legogpt,
    title   = {Generating Physically Stable and Buildable LEGO Designs from Text},
    author  = {Pun, Ava and Deng, Kangle and Liu, Ruixuan and Ramanan, Deva and Liu, Changliu and Zhu, Jun-Yan},
    journal = {arXiv preprint arXiv:2505.05469},
    year    = {2025}
}

モデルカードの問い合わせ先

Ava Pun (apun@andrew.cmu.edu)

フレームワークのバージョン

• PEFT 0.15.0

📄 ライセンス

このモデルはMITライセンスの下で提供されています。