ライセンス: MIT 言語:

• 英語 ベースモデル:
• IPEC-COMMUNITY/spatialvla-4b-224-pt パイプラインタグ: 画像テキストからテキスト ライブラリ名: transformers タグ:
• VLA
• 基盤視覚言語行動モデル
• 汎用ロボットポリシー
• ロボット工学

SpatialVLAをfractalとbridgeでファインチューニング

このモデルは、SpatialVLAモデルをSimpler-envベンチマーク用のfractalデータセットでファインチューニングして生成されました。

モデルの詳細

モデルの説明

• 開発者: 上海人工知能実験室、上海科技大学、TeleAIの研究者から構成されるSpatialVLAチーム
• モデルタイプ: 視覚言語行動（言語、画像 => ロボットの行動）
• 言語 (NLP): 英語
• ライセンス: MIT
• ファインチューニング元のモデル: paligemma2-3b-pt-224
• 事前学習データセット: Open X-EmbodimentとRH20T
• リポジトリ: https://github.com/SpatialVLA/SpatialVLA
• 論文: SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model
• プロジェクトページとビデオ: https://spatialvla.github.io/

使用方法

SpatialVLAはHuggingFace Transformers 🤗のみに依存しているため、展開が非常に簡単です。環境がtransformers >= 4.47.0をサポートしている場合は、以下のコードを直接使用してモデルをロードし、推論を実行できます。（GPUメモリは8.5GB必要）

直接使用

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="fractal20220817_data/0.1.0")
print(actions)

想定外の使用

SpatialVLAモデルは、新しい（未見の）ロボットのエンボディメントや、事前学習のミックスに含まれていないセットアップに対してゼロショットで汎化することはできません。このような場合は、目的のセットアップでデモンストレーションのデータセットを収集し、SpatialVLAモデルをファインチューニングすることをおすすめします。

モデルを使ってみる方法

モデルをファインチューニングまたは事前学習に使用する場合は、まず公式リポジトリをクローンする必要があります。

git clone https://github.com/SpatialVLA/SpatialVLA.git

次に、必要なパッケージをインストールし、Hugging Faceモデルハブからモデルをダウンロードします。SpatialVLAのVLMバックボーンはPaLiGemma2であり、transformers >= 4.47.0が必要です。したがって、Python >= 3.10のPython環境を作成します。

conda create -n spatialvla python=3.10
conda activate spatialvla

requirements.txtファイルからパッケージをインストールします。再現性のためにシード設定をサポートするカスタマイズされたdlimpを使用しています。問題が発生した場合は、dlimp_customからdlimpを手動でインストールしてください。

pip install -r requirements.txt

ゼロからの学習

SpatialVLAは、OXEとRH20Tデータセットの110万件の実ロボットのデモンストレーションを使用して、64台のA100 GPUのクラスターで約10日間、バッチサイズ2048で事前学習されています。以下のコマンドを使用して、モデルをゼロから事前学習できます。

# torchrun
bash scripts/spatialvla_4b_pretrain/torchrun_pretrain.sh

# またはslurmクラスターで
bash scripts/spatialvla_4b_pretrain/slurm_pretrain.sh

ファインチューニング

ほとんどのファインチューニング実験は、4または8台のA100 GPUでLoRAを使用して行われています。 以下のスクリプトを使用して、全パラメータまたはLoRAでファインチューニングできます。小さなデータセットを使用する実世界の実験では、LoRAを使用したファインチューニングを推奨します。

# 全パラメータでのファインチューニング
bash scripts/spatialvla_4b_finetune/finetune_full.sh

# LoRAでのファインチューニング
bash scripts/spatialvla_4b_finetune/finetune_lora.sh

評価

• GoogleロボットタスクでのSimplerEnv評価

• WidowXロボットタスクでのSimplerEnv評価

• WidowXロボットでのゼロショットロボット制御評価

• 空間理解能力評価

引用

BibTeX:

@misc{qu2025spatialvlaexploringspatialrepresentations,
      title={SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model}, 
      author={Delin Qu and Haoming Song and Qizhi Chen and Yuanqi Yao and Xinyi Ye and Yan Ding and Zhigang Wang and JiaYuan Gu and Bin Zhao and Dong Wang and Xuelong Li},
      year={2025},
      eprint={2501.15830},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2501.15830}, 
}