Flower Calvin D

🚀 FlowerVLA - CALVIN D用のビジョン・言語・行動フローモデル

これは、CALVIN Dデータセットで学習された、ロボット操作向けの事前学習済みFlowerVLAモデルです。Flowerは、ロボット学習用の効率的なビジョン・言語・行動フローポリシーで、たった10億のパラメータしか含まれていません。

🚀 クイックスタート

FlowerVLAは、CALVIN Dデータセットを使用してロボット操作に特化して事前学習されたモデルです。以下の手順でモデルを使用できます。

✨ 主な機能

FlowerVLAは、次のような革新的なアーキテクチャを持っています。

• Florence-2の半分を使用して、マルチモーダルなビジョン・言語エンコーディングを行います。
• 新しいトランスフォーマーベースのフローマッチングアーキテクチャを採用しています。
• たった約10億のパラメータで、効率的で汎用性の高いVLAポリシーを提供します。

📦 インストール

このセクションではインストールに関する具体的な手順が記載されていませんので、スキップします。

💻 使用例

基本的な使用法

obs = {
    "rgb_obs": {
        "rgb_static": static_image,
        "rgb_gripper": gripper_image
    }
}
goal = {"lang_text": "pick up the blue cube"}
action = model.step(obs, goal)

高度な使用法

このセクションでは高度な使用法に関する具体的なコードが記載されていませんので、スキップします。

📚 ドキュメント

モデルの性能

このチェックポイントには、CALVIN Dチャレンジ用の重みが含まれており、現在以下の結果で1位を占めています。

入力/出力仕様

入力

• RGB静止カメラ: (B, T, 3, H, W) テンソル
• RGBグリッパーカメラ: (B, T, 3, H, W) テンソル
• 言語指示: テキスト文字列

出力

• 行動空間: デルタEEF行動を表す (B, T, 7) テンソル

使い方

Github todo で完全なモデル実装を確認し、READMEの指示に従って、いずれかの環境でモデルをテストしてください。

🔧 技術詳細

設定

• オプティマイザー: AdamW
• 学習率: 2e-5
• 重み減衰: 0.05

@inproceedings{ reuss2025flower, # Add citation when available }

📄 ライセンス

このモデルはMITライセンスの下で公開されています。