Spatialvla 4b 224 Sft Bridge

🚀 SpatialVLA在fractal和bridge上的微調模型

本模型是通過在bridge數據集上對 SpatialVLA模型 進行微調得到的，用於Simpler-env基準測試。

🚀 快速開始

SpatialVLA僅依賴HuggingFace Transformers 🤗，這使得模型的部署變得極為輕鬆。如果你的環境支持 transformers >= 4.47.0，你可以直接使用以下代碼加載模型並進行推理（需要8.5GB的GPU內存）。

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="bridge_orig/1.0.0")
print(actions)

✨ 主要特性

• 基於HuggingFace Transformers，部署簡單。
• 可進行圖像文本到文本的轉換。
• 適用於機器人視覺語言動作任務。

📦 安裝指南

如果你想使用該模型進行微調或預訓練，你需要先克隆 官方倉庫：

git clone https://github.com/SpatialVLA/SpatialVLA.git

然後安裝所需的包，並從Hugging Face模型中心下載模型。SpatialVLA的VLM主幹是PaLiGemma2，需要 transformers >= 4.47.0。因此，請創建一個Python版本大於等於3.10的環境：

conda create -n spatialvla python=3.10
conda activate spatialvla

從 requirements.txt 文件中安裝包。請注意，我們使用了一個自定義的 dlimp 來支持可重複性的種子設置。如果你遇到任何問題，請從 dlimp_custom 手動安裝dlimp。

pip install -r requirements.txt

從頭開始訓練

SpatialVLA在64個A100 GPU集群上，使用來自OXE和RH20T數據集的110萬個真實機器人演示進行了約10天的預訓練，批次大小為2048。你可以使用以下命令從頭開始預訓練模型：

# torchrun
bash scripts/spatialvla_4b_pretrain/torchrun_pretrain.sh

# 或在slurm集群中
bash scripts/spatialvla_4b_pretrain/slurm_pretrain.sh

微調

我們的大多數微調實驗是在4個或8個A100 GPU上使用LoRA進行的。你可以使用以下腳本進行全參數或LoRA微調。對於小數據集的真實世界實驗，我們建議使用LoRA進行微調。

# 全參數微調
bash scripts/spatialvla_4b_finetune/finetune_full.sh

# LoRA微調
bash scripts/spatialvla_4b_finetune/finetune_lora.sh

📚 詳細文檔

模型詳情

模型描述

用途

直接使用

上述快速開始部分的代碼展示瞭如何直接使用該模型進行推理。

超出範圍的使用

SpatialVLA模型不能對新的（未見過的）機器人實體或預訓練混合中未涵蓋的設置進行零樣本泛化。在這些情況下，我們建議在所需的設置上收集演示數據集，並對SpatialVLA模型進行微調。

評估

在Google機器人任務上的SimplerEnv評估

在WidowX機器人任務上的SimplerEnv評估

在WidowX機器人上的零樣本機器人控制評估

空間理解能力評估

📄 許可證

本模型採用MIT許可證。

📚 引用

@misc{qu2025spatialvlaexploringspatialrepresentations,
      title={SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model}, 
      author={Delin Qu and Haoming Song and Qizhi Chen and Yuanqi Yao and Xinyi Ye and Yan Ding and Zhigang Wang and JiaYuan Gu and Bin Zhao and Dong Wang and Xuelong Li},
      year={2025},
      eprint={2501.15830},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2501.15830}, 
}