Flower Calvin Abcd

🚀 FlowerVLA - ロボット操作用のビジョン・言語・行動フローモデル（CALVIN ABCD用）

FlowerVLAは、CALVIN ABCDデータセットで学習された、ロボット操作用の事前学習済みモデルです。Flowerは、たった10億のパラメータしか持たない、ロボット学習用の効率的なビジョン・言語・行動フローポリシーです。

✨ 主な機能

FlowerVLAは、次のような新しいアーキテクチャを持っています。

• Florence-2の半分を使用して、マルチモーダルなビジョン・言語エンコーディングを行います。
• 新しいトランスフォーマーベースのフローマッチングアーキテクチャを採用しています。
• たった約10億のパラメータで、効率的で汎用性の高いVLAポリシーを提供します。

📚 詳細ドキュメント

モデルの性能

このチェックポイントには、CALVIN ABCDチャレンジ用の重みが含まれており、現在は以下の結果で1位を占めています。

入出力仕様

入力

• RGB静止カメラ: (B, T, 3, H, W) テンソル
• RGBグリッパーカメラ: (B, T, 3, H, W) テンソル
• 言語指示: テキスト文字列

出力

• 行動空間: デルタEEF行動を表す (B, T, 7) テンソル

💻 使用例

基本的な使用法

GitHubでの完全なモデル実装を確認してください todo 。READMEの指示に従って、いずれかの環境でモデルをテストしてください。

obs = {
    "rgb_obs": {
        "rgb_static": static_image,
        "rgb_gripper": gripper_image
    }
}
goal = {"lang_text": "pick up the blue cube"}
action = model.step(obs, goal)

🔧 技術詳細

設定

• オプティマイザ: AdamW
• 学習率: 2e-5
• 重み減衰: 0.05

@inproceedings{ reuss2025flower, # Add citation when available }

📄 ライセンス

このモデルはMITライセンスの下で公開されています。