Spatialvla 4b 224 Pt

🚀 SpatialVLA

SpatialVLA是一個經過空間增強的視覺-語言-動作模型，在110萬個真實機器人實驗片段上進行了訓練。該代碼完全基於HuggingFace，簡潔且性能高效。

所有SpatialVLA的檢查點以及我們的訓練代碼庫均在MIT許可證下發布。

如需瞭解完整詳情，請閱讀我們的論文並訪問我們的項目頁面。

🚀 快速開始

SpatialVLA僅依賴於HuggingFace Transformers 🤗，這使得模型的部署變得極為輕鬆。如果你的環境支持 transformers >= 4.47.0，你可以直接使用以下代碼加載模型並進行推理（需要8.5GB的GPU內存）。

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="bridge_orig/1.0.0")
print(actions)

✨ 主要特性

• 基於空間增強技術，在視覺-語言-動作任務上表現出色。
• 代碼基於HuggingFace，簡潔高效，易於部署。
• 在多個機器人任務評估中展現出優秀性能。

📦 安裝指南

如果你想使用該模型進行微調或預訓練，你需要先克隆官方倉庫：

git clone https://github.com/SpatialVLA/SpatialVLA.git

然後安裝所需的包，並從Hugging Face模型中心下載模型。SpatialVLA的VLM骨幹網絡是PaLiGemma2，這需要 transformers >= 4.47.0。因此，請創建一個Python版本 >= 3.10的Python環境：

conda create -n spatialvla python=3.10
conda activate spatialvla

從 requirements.txt 文件中安裝包。請注意，我們使用了一個定製的 dlimp 來支持種子設置以確保結果可復現。如果你遇到任何問題，請從dlimp_custom手動安裝 dlimp。

pip install -r requirements.txt

從頭開始訓練

SpatialVLA在64個A100 GPU集群上，使用來自OXE和RH20T數據集的110萬個真實機器人演示進行了約10天的預訓練，批次大小為2048。你可以使用以下命令從頭開始預訓練模型：

# torchrun
bash scripts/spatialvla_4b_pretrain/torchrun_pretrain.sh

# 或在slurm集群中
bash scripts/spatialvla_4b_pretrain/slurm_pretrain.sh

微調

我們的大多數微調實驗是在4個或8個A100 GPU上使用LoRA進行的。你可以使用以下腳本進行全參數或LoRA微調。對於使用小數據集的真實世界實驗，我們建議使用LoRA進行微調。

# 全參數微調
bash scripts/spatialvla_4b_finetune/finetune_full.sh

# LoRA微調
bash scripts/spatialvla_4b_finetune/finetune_lora.sh

📚 詳細文檔

模型詳情

模型描述

模型使用範圍

• 直接使用：在支持 transformers >= 4.47.0 的環境中，可直接使用提供的代碼加載模型並進行推理。
• 超出適用範圍：SpatialVLA模型無法在零樣本情況下泛化到新的（未見過的）機器人實體或預訓練混合中未涵蓋的設置。在這些情況下，我們建議在所需設置上收集演示數據集，並對SpatialVLA模型進行微調。

評估

• Google機器人任務的SimplerEnv評估

• WidowX機器人任務的SimplerEnv評估

• LIBERO仿真基準測試結果

• WidowX機器人的零樣本機器人控制評估

• 空間理解能力評估

• Franka機器人適應新機器人設置

📄 許可證

本項目採用MIT許可證。

📚 引用

如果你在研究中使用了SpatialVLA，請使用以下BibTeX引用：

@misc{qu2025spatialvlaexploringspatialrepresentations,
      title={SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model}, 
      author={Delin Qu and Haoming Song and Qizhi Chen and Yuanqi Yao and Xinyi Ye and Yan Ding and Zhigang Wang and JiaYuan Gu and Bin Zhao and Dong Wang and Xuelong Li},
      year={2025},
      eprint={2501.15830},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2501.15830}, 
}