Flower Libero 10

🚀 FlowerVLA - LIBERO 10でファインチューニングされたビジョン・言語・行動フローモデル

このモデルは、LIBERO 10データセットで学習されたロボット操作向けの事前学習済みFlowerVLAモデルです。Flowerは、ロボット学習における効率的なビジョン・言語・行動フローポリシーで、たった10億個のパラメータしか含まれていません。

✨ 主な機能

FlowerVLAは、次のような革新的なアーキテクチャを持っています。

• Florence-2の半分を使用して、マルチモーダルなビジョン・言語エンコーディングを行います。
• 新しいトランスフォーマーベースのフローマッチングアーキテクチャを採用しています。
• たった約10億個のパラメータで、効率的かつ汎用的なVLAポリシーを提供します。

📦 モデルの性能

このチェックポイントには、LIBERO 10チャレンジ用の重みが含まれており、次のような結果を達成しています。

eval_lh/avg_seq_len 成功率 0.9440705180168152 eval_lh/sr_LIVING_ROOM_SCENE2_put_both_the_alphabet_soup_and_the_tomato_sauce_in_the_basket 成功率 0.9791666666666666 eval_lh/sr_LIVING_ROOM_SCENE2_put_both_the_cream_cheese_box_and_the_butter_in_the_basket 成功率 1.0 eval_lh/sr_KITCHEN_SCENE3_turn_on_the_stove_and_put_the_moka_pot_on_it 成功率 0.9791666666666666 eval_lh/sr_KITCHEN_SCENE4_put_the_black_bowl_in_the_bottom_drawer_of_the_cabinet_and_close_it 成功率 1.0 eval_lh/sr_LIVING_ROOM_SCENE5_put_the_white_mug_on_the_left_plate_and_put_the_yellow_and_white_mug_on_the_right_plate 成功率 0.9407051282051282 eval_lh/sr_STUDY_SCENE1_pick_up_the_book_and_place_it_in_the_back_compartment_of_the_caddy 成功率 1.0 eval_lh/sr_LIVING_ROOM_SCENE6_put_the_white_mug_on_the_plate_and_put_the_chocolate_pudding_to_the_right_of_the_plate 成功率 0.8990384615384616 eval_lh/sr_LIVING_ROOM_SCENE1_put_both_the_alphabet_soup_and_the_cream_cheese_box_in_the_basket 成功率 1.0 eval_lh/sr_KITCHEN_SCENE8_put_both_moka_pots_on_the_stove 成功率 0.7403846153846154 eval_lh/sr_KITCHEN_SCENE6_put_the_yellow_and_white_mug_in_the_microwave_and_close_it 成功率 0.9022435897435898

入出力仕様

入力

• RGB静止カメラ: (B, T, 3, H, W) テンソル
• RGBグリッパーカメラ: (B, T, 3, H, W) テンソル
• 言語指示: テキスト文字列

出力

• 行動空間: デルタEEF行動を表す (B, T, 7) テンソル

💻 使用例

基本的な使用法

obs = {
    "rgb_obs": {
        "rgb_static": static_image,
        "rgb_gripper": gripper_image
    }
}
10 = {"lang_text": "pick up the blue cube"}
action = model.step(obs, 10)

モデルの完全な実装については、GitHub todo をご確認ください。READMEの指示に従って、いずれかの環境でモデルをテストすることができます。

🔧 学習の詳細

設定

• オプティマイザ: AdamW
• 学習率: 2e-5
• 重み減衰: 0.05

@inproceedings{ reuss2025flower, # Add citation when available }

📄 ライセンス

このモデルは、MITライセンスの下で公開されています。