Flower Calvin Abc

🚀 FlowerVLA - CALVIN ABC用のビジョン・言語・行動フローモデル

これは、CALVIN ABCデータセットで学習された、ロボット操作向けの事前学習済みFlowerVLAモデルです。Flowerは、ロボット学習用の効率的なビジョン・言語・行動フローポリシーで、パラメータ数はわずか10億です。

✨ 主な機能

FlowerVLAは、次のような新しいアーキテクチャを持つモデルです。

• Florence-2の半分を使用して、マルチモーダルなビジョン・言語エンコーディングを行います。
• 新しいトランスフォーマーベースのフローマッチングアーキテクチャを採用しています。
• わずか約10億のパラメータで、効率的かつ汎用的なVLAポリシーを提供します。

📚 ドキュメント

モデルの性能

このチェックポイントには、CALVIN ABCチャレンジ用の重みが含まれており、現在以下の結果で1位を占めています。

入出力仕様

入力

• RGB静止カメラ: (B, T, 3, H, W) テンソル
• RGBグリッパーカメラ: (B, T, 3, H, W) テンソル
• 言語指示: テキスト文字列

出力

• 行動空間: デルタEEF行動を表す (B, T, 7) テンソル

💻 使用例

基本的な使用法

obs = {
    "rgb_obs": {
        "rgb_static": static_image,
        "rgb_gripper": gripper_image
    }
}
goal = {"lang_text": "pick up the blue cube"}
action = model.step(obs, goal)

高度な使用法

GitHubでの完全なモデル実装を確認してください todo 。READMEの指示に従って、いずれかの環境でモデルをテストしてください。

🔧 技術詳細

設定

• オプティマイザ: AdamW
• 学習率: 2e-5
• 重み減衰: 0.05

@inproceedings{ reuss2025flower, # Add citation when available }

📄 ライセンス

このモデルは、MITライセンスの下で公開されています。