Spatialvla 4b Mix 224 Pt

🚀 SpatialVLA在分形與橋樑數據集上的微調模型

本模型是通過在分形和橋樑數據集上對 SpatialVLA模型 進行微調得到的。為了提高最終性能，我們對訓練數據集做了一些修改（詳情請參考 SpatialVLA論文）。該模型僅用於我們論文中表V的領域數據集微調消融實驗。

✨ 主要特性

• 基於SpatialVLA模型在特定數據集上微調，提升了特定任務的性能。
• 依賴HuggingFace Transformers庫，便於部署。

📦 安裝指南

如果你想使用該模型進行微調或預訓練，需要先克隆 官方倉庫：

git clone https://github.com/SpatialVLA/SpatialVLA.git

然後安裝所需的包，並從Hugging Face模型中心下載模型。SpatialVLA的視覺語言模型（VLM）骨幹是PaLiGemma2，需要 transformers >= 4.47.0。因此，創建一個Python版本大於等於3.10的環境：

conda create -n spatialvla python=3.10
conda activate spatialvla

從 requirements.txt 文件中安裝包。注意，我們使用了一個自定義的 dlimp 來支持種子設置以實現可重複性。如果你遇到任何問題，請從 dlimp_custom 手動安裝 dlimp。

pip install -r requirements.txt

💻 使用示例

基礎用法

SpatialVLA僅依賴HuggingFace Transformers 🤗，部署極為簡單。如果你的環境支持 transformers >= 4.47.0，可以直接使用以下代碼加載模型並進行推理（需要8.5GB的GPU內存）。

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="bridge_orig/1.0.0")
print(actions)

高級用法

從頭開始訓練

SpatialVLA在64個A100 GPU的集群上，使用來自OXE和RH20T數據集的110萬個真實機器人演示數據進行了約10天的預訓練，批次大小為2048。你可以使用以下命令從頭開始預訓練模型：

# torchrun
bash scripts/spatialvla_4b_pretrain/torchrun_pretrain.sh

# 或在slurm集群中
bash scripts/spatialvla_4b_pretrain/slurm_pretrain.sh

微調

我們的大多數微調實驗是在4或8個A100 GPU上使用LoRA進行的。你可以使用以下腳本進行全參數或LoRA微調。對於小數據集的真實世界實驗，我們建議使用LoRA進行微調。

# 全參數微調
bash scripts/spatialvla_4b_finetune/finetune_full.sh

# LoRA微調
bash scripts/spatialvla_4b_finetune/finetune_lora.sh

📚 詳細文檔

模型詳情

模型使用範圍

SpatialVLA模型不能對新的（未見過的）機器人實體或預訓練混合中未涵蓋的設置進行零樣本泛化；在這些情況下，我們建議在所需設置上收集演示數據集，並對SpatialVLA模型進行微調。

評估

SimplerEnv在Google機器人任務上的評估

SimplerEnv在WidowX機器人任務上的評估

WidowX機器人的零樣本機器人控制評估

空間理解能力評估

📄 許可證

本模型使用的許可證為MIT。

📚 引用

如果你在研究中使用了本模型，請使用以下BibTeX引用：

@misc{qu2025spatialvlaexploringspatialrepresentations,
      title={SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model}, 
      author={Delin Qu and Haoming Song and Qizhi Chen and Yuanqi Yao and Xinyi Ye and Yan Ding and Zhigang Wang and JiaYuan Gu and Bin Zhao and Dong Wang and Xuelong Li},
      year={2025},
      eprint={2501.15830},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2501.15830}, 
}