Openvla 7b Oft Finetuned Libero Spatial Object Goal 10

🚀 ビジョン・言語・行動モデルのファインチューニング: 速度と成功率の最適化

このリポジトリには、4つのLIBEROタスクスイート（-Spatial, -Object, -Goal, -Long）で学習されたOpenVLA - OFTチェックポイントが含まれています。詳細はFine - Tuning Vision - Language - Action Models: Optimizing Speed and Successを参照してください。OpenVLA - OFTは、最適化されたファインチューニング手法を組み込むことで、ベースのOpenVLAモデルを大幅に改善しています。

プロジェクトページ: https://openvla-oft.github.io/

コード: https://github.com/openvla-oft/openvla-oft

他のOpenVLA - OFTチェックポイントはこちら: https://huggingface.co/moojink?search_models=oft

🚀 クイックスタート

この例では、事前学習されたOpenVLA - OFTチェックポイントを使用して行動チャンクを生成する方法を示しています。GitHubのREADMEに記載されている通りにconda環境をセットアップしてください。

import pickle
from experiments.robot.libero.run_libero_eval import GenerateConfig
from experiments.robot.openvla_utils import get_action_head, get_processor, get_proprio_projector, get_vla, get_vla_action
from prismatic.vla.constants import NUM_ACTIONS_CHUNK, PROPRIO_DIM
# 設定をインスタンス化する（定義についてはexperiments/robot/libero/run_libero_eval.pyのGenerateConfigクラスを参照）
cfg = GenerateConfig(
    pretrained_checkpoint = "moojink/openvla-7b-oft-finetuned-libero-spatial",
    use_l1_regression = True,
    use_diffusion = False,
    use_film = False,
    num_images_in_input = 2,
    use_proprio = True,
    load_in_8bit = False,
    load_in_4bit = False,
    center_crop = True,
    num_open_loop_steps = NUM_ACTIONS_CHUNK,
    unnorm_key = "libero_spatial_no_noops",
)
# OpenVLA-OFTポリシーと入力プロセッサをロードする
vla = get_vla(cfg)
processor = get_processor(cfg)
# 連続的な行動を生成するためのMLP行動ヘッドをロードする（L1回帰を介して）
action_head = get_action_head(cfg, llm_dim=vla.llm_dim)
# プロプリオセプションを言語埋め込み空間にマッピングするためのプロプリオプロジェクターをロードする
proprio_projector = get_proprio_projector(cfg, llm_dim=vla.llm_dim, proprio_dim=PROPRIO_DIM)

# サンプル観測をロードする:
#   observation (dict): {
#     "full_image": 主要な第三者視点画像,
#     "wrist_image": 手首に取り付けられたカメラの画像,
#     "state": ロボットのプロプリオセプション状態,
#     "task_description": タスクの説明,
#   }
with open("experiments/robot/libero/sample_libero_spatial_observation.pkl", "rb") as file:
    observation = pickle.load(file)
# ロボットの行動チャンク（将来の行動のシーケンス）を生成する
actions = get_vla_action(cfg, vla, processor, observation, observation["task_description"], action_head, proprio_projector)
print("生成された行動チャンク:")
for act in actions:
    print(act)

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 引用

@article{kim2025fine,
  title={Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success},
  author={Kim, Moo Jin and Finn, Chelsea and Liang, Percy},
  journal={arXiv preprint arXiv:2502.19645},
  year={2025}
}