license: mit language:

• en base_model:
• IPEC-COMMUNITY/spatialvla-4b-224-pt pipeline_tag: image-text-to-text library_name: transformers tags:
• VLA
• 基礎ビジョン言語行動モデル
• 汎用ロボットポリシー
• ロボット工学

SpatialVLAをfractalとbridgeでファインチューニング

このモデルは、SpatialVLAモデルをよりシンプルな環境のベンチマーク用のbridgeデータセットでファインチューニングして作成されました。

モデルの詳細

モデルの説明

• 開発者: 上海人工知能実験室、上海科技大学、TeleAIの研究者から成るSpatialVLAチーム
• モデルの種類: ビジョン言語行動（言語、画像 => ロボットの行動）
• 使用言語 (NLP): 英語
• ライセンス: MIT
• ファインチューニング元のモデル: paligemma2-3b-pt-224
• 事前学習データセット: Open X-Embodiment と RH20T
• リポジトリ: https://github.com/SpatialVLA/SpatialVLA
• 論文: SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model
• プロジェクトページと動画: https://spatialvla.github.io/

利用方法

SpatialVLAはHuggingFace Transformers 🤗 のみに依存しているため、デプロイが非常に簡単です。あなたの環境が transformers >= 4.47.0 をサポートしていれば、以下のコードを直接使用してモデルをロードし、推論を実行できます。（GPUメモリ8.5GB必要）

直接利用

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="bridge_orig/1.0.0")
print(actions)

想定外の利用

SpatialVLAモデルは、事前学習のデータセットに含まれていない新しい（未見の）ロボットの形態やセットアップに対してゼロショットで一般化することはできません。このような場合は、目的のセットアップに関するデモンストレーションのデータセットを収集し、SpatialVLAモデルをファインチューニングすることをおすすめします。

モデルを始める方法

モデルをファインチューニングまたは事前学習する場合は、まず公式リポジトリをクローンする必要があります。

git clone https://github.com/SpatialVLA/SpatialVLA.git

次に、必要なパッケージをインストールし、Hugging Faceのモデルハブからモデルをダウンロードします。SpatialVLAのVLMバックボーンはPaLiGemma2であり、transformers >= 4.47.0が必要です。そのため、Python >= 3.10のPython環境を作成します。

conda create -n spatialvla python=3.10
conda activate spatialvla

requirements.txt ファイルからパッケージをインストールします。再現性のためにシード設定をサポートするため、カスタマイズされた dlimp を使用しています。何か問題が発生した場合は、dlimp_custom からdlimpを手動でインストールしてください。

pip install -r requirements.txt

ゼロから学習する

SpatialVLAは、OXEとRH20Tデータセットからの110万件の実際のロボットのデモンストレーションを使って、64台のA100 GPUクラスタで約10日間、バッチサイズ2048で事前学習されました。以下のコマンドを使用して、モデルをゼロから事前学習することができます。

# torchrun
bash scripts/spatialvla_4b_pretrain/torchrun_pretrain.sh

# またはslurmクラスタで
bash scripts/spatialvla_4b_pretrain/slurm_pretrain.sh

ファインチューニング

ほとんどのファインチューニング実験は、4または8台のA100 GPUでLoRAを使用して行われています。 以下のスクリプトを使用して、全パラメータまたはLoRAを使ったファインチューニングを行うことができます。小さなデータセットを使った実世界の実験では、LoRAを使ったファインチューニングをおすすめします。

# 全パラメータのファインチューニング
bash scripts/spatialvla_4b_finetune/finetune_full.sh

# LoRAを使ったファインチューニング
bash scripts/spatialvla_4b_finetune/finetune_lora.sh

評価

• GoogleロボットのタスクでのSimplerEnv評価

• WidowXロボットのタスクでのSimplerEnv評価

• WidowXロボットでのゼロショットロボット制御評価

• 空間理解能力評価

引用

BibTeX:

@misc{qu2025spatialvlaexploringspatialrepresentations,
      title={SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model}, 
      author={Delin Qu and Haoming Song and Qizhi Chen and Yuanqi Yao and Xinyi Ye and Yan Ding and Zhigang Wang and JiaYuan Gu and Bin Zhao and Dong Wang and Xuelong Li},
      year={2025},
      eprint={2501.15830},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2501.15830}, 
}