Spatialvla 4b 224 Sft Fractal

🚀 SpatialVLA在分形與橋樑數據集上的微調模型

本模型是通過在分形數據集上對 SpatialVLA模型 進行微調得到的，用於Simpler-env基準測試。

🚀 快速開始

SpatialVLA僅依賴HuggingFace Transformers 🤗，這使得模型的部署極為便捷。若你的環境支持 transformers >= 4.47.0，可直接使用以下代碼加載模型並進行推理（需要8.5GB的GPU內存）。

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="fractal20220817_data/0.1.0")
print(actions)

✨ 主要特性

• 多團隊合作研發：由來自上海人工智能實驗室、上海科技大學和TeleAI的研究人員組成的SpatialVLA團隊開發。
• 跨模態能力：屬於視覺 - 語言 - 動作模型（語言、圖像 => 機器人動作），能夠根據輸入的語言和圖像信息輸出機器人動作。
• 開源許可：採用MIT許可證，方便開發者使用和二次開發。
• 可微調性：基於預訓練模型進行微調，能快速適應特定任務。

📦 安裝指南

如果你想使用該模型進行微調或預訓練，需要先克隆 官方倉庫：

git clone https://github.com/SpatialVLA/SpatialVLA.git

然後安裝所需的包，並從Hugging Face模型中心下載模型。SpatialVLA的視覺語言模型（VLM）骨幹是PaLiGemma2，需要 transformers >= 4.47.0。因此，需要創建一個Python版本 >= 3.10的Python環境：

conda create -n spatialvla python=3.10
conda activate spatialvla

從 requirements.txt 文件中安裝包。請注意，我們使用了自定義的 dlimp 來支持種子設置以確保結果可復現。如果你遇到任何問題，請從 dlimp_custom 手動安裝 dlimp。

pip install -r requirements.txt

💻 使用示例

基礎用法

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="fractal20220817_data/0.1.0")
print(actions)

高級用法

從頭開始訓練

SpatialVLA在64個A100 GPU集群上，使用來自OXE和RH20T數據集的110萬個真實機器人演示數據進行了約10天的預訓練，批次大小為2048。你可以使用以下命令從頭開始預訓練模型：

# torchrun
bash scripts/spatialvla_4b_pretrain/torchrun_pretrain.sh

# 或在slurm集群中
bash scripts/spatialvla_4b_pretrain/slurm_pretrain.sh

微調

我們的大多數微調實驗是在4個或8個A100 GPU上使用LoRA進行的。你可以使用以下腳本進行全參數或LoRA微調。對於使用小數據集的真實世界實驗，我們建議使用LoRA進行微調。

# 全參數微調
bash scripts/spatialvla_4b_finetune/finetune_full.sh

# LoRA微調
bash scripts/spatialvla_4b_finetune/finetune_lora.sh

📚 詳細文檔

模型詳情

模型使用範圍

SpatialVLA模型在未見過的新機器人實體或預訓練混合中未涵蓋的設置上無法進行零樣本泛化。在這些情況下，我們建議在所需的設置上收集演示數據集，並對SpatialVLA模型進行微調。

評估

SimplerEnv在Google機器人任務上的評估

SimplerEnv在WidowX機器人任務上的評估

WidowX機器人的零樣本機器人控制評估

空間理解能力評估

📄 許可證

本模型採用MIT許可證。

🔧 技術細節

本模型是通過在分形數據集上對SpatialVLA模型進行微調得到的。SpatialVLA的視覺語言模型骨幹是PaLiGemma2，需要 transformers >= 4.47.0。在預訓練階段，使用了來自OXE和RH20T數據集的110萬個真實機器人演示數據，在64個A100 GPU集群上進行了約10天的訓練，批次大小為2048。微調實驗大多在4個或8個A100 GPU上使用LoRA進行。

📚 引用

如果你在研究中使用了本模型，請引用以下論文：

@misc{qu2025spatialvlaexploringspatialrepresentations,
      title={SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model}, 
      author={Delin Qu and Haoming Song and Qizhi Chen and Yuanqi Yao and Xinyi Ye and Yan Ding and Zhigang Wang and JiaYuan Gu and Bin Zhao and Dong Wang and Xuelong Li},
      year={2025},
      eprint={2501.15830},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2501.15830}, 
}