Spatialvla 4b Mix 224 Pt

🚀 SpatialVLA Fine-Tuned on fractal & bridge

このモデルは、SpatialVLAモデルをフラクタルとブリッジのデータセットでファインチューニングすることで生成されました。最終的なパフォーマンスを向上させるために、学習データセットにいくつかの変更を加えました（詳細はSpatialVLA論文を参照）。このモデルは、ドメインデータセットにおけるファインチューニングのアブレーション実験のために、私たちのTABLE Vでのみ使用されます。

🚀 クイックスタート

SpatialVLAはHuggingFace Transformers 🤗のみに依存しており、デプロイが非常に簡単です。環境がtransformers >= 4.47.0をサポートしている場合、以下のコードを直接使用してモデルをロードし、推論を実行できます（GPUメモリ8.5GBが必要）。

✨ 主な機能

• 画像とテキストを入力として、ロボットの行動を出力するビジョン・言語・行動モデル。
• 特定のデータセットでファインチューニングされ、特定のタスクでのパフォーマンスが向上。

📦 インストール

モデルをファインチューニングまたは事前学習する場合は、まず公式リポジトリをクローンする必要があります。

git clone https://github.com/SpatialVLA/SpatialVLA.git

次に、必要なパッケージをインストールし、Hugging Faceモデルハブからモデルをダウンロードします。SpatialVLAのVLMバックボーンはPaLiGemma2であり、transformers >= 4.47.0が必要です。したがって、Python >= 3.10のPython環境を作成します。

conda create -n spatialvla python=3.10
conda activate spatialvla

requirements.txtファイルからパッケージをインストールします。再現性のためのシード設定をサポートするために、カスタマイズされたdlimpを使用しています。問題が発生した場合は、dlimp_customから手動でdlimpをインストールしてください。

pip install -r requirements.txt

💻 使用例

基本的な使用法

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="bridge_orig/1.0.0")
print(actions)

📚 ドキュメント

モデルの詳細

モデルの説明

学習方法

ゼロからの学習

SpatialVLAは、OXEとRH20Tデータセットからの110万件の実ロボットデモンストレーションを使用して、64台のA100 GPUのクラスタで約10日間、バッチサイズ2048で事前学習されています。以下のコマンドを使用して、モデルをゼロから事前学習できます。

# torchrun
bash scripts/spatialvla_4b_pretrain/torchrun_pretrain.sh

# またはslurmクラスタで
bash scripts/spatialvla_4b_pretrain/slurm_pretrain.sh

ファインチューニング

ほとんどのファインチューニング実験は、4または8台のA100 GPUでLoRAを使用して行われています。以下のスクリプトを使用して、全パラメータまたはLoRAによるファインチューニングを行うことができます。小さなデータセットを使用する実世界の実験では、LoRAによるファインチューニングを推奨します。

# 全パラメータのファインチューニング
bash scripts/spatialvla_4b_finetune/finetune_full.sh

# LoRAによるファインチューニング
bash scripts/spatialvla_4b_finetune/finetune_lora.sh

評価

GoogleロボットタスクでのSimplerEnv評価

WidowXロボットタスクでのSimplerEnv評価

WidowXロボットでのゼロショットロボット制御評価

空間理解能力評価

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

引用

BibTeX:

@misc{qu2025spatialvlaexploringspatialrepresentations,
      title={SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model}, 
      author={Delin Qu and Haoming Song and Qizhi Chen and Yuanqi Yao and Xinyi Ye and Yan Ding and Zhigang Wang and JiaYuan Gu and Bin Zhao and Dong Wang and Xuelong Li},
      year={2025},
      eprint={2501.15830},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2501.15830}, 
}