Spatialvla 4b 224 Pt

🚀 SpatialVLA

SpatialVLA是一个经过空间增强的视觉-语言-动作模型，在110万个真实机器人实验片段上进行了训练。该代码完全基于HuggingFace，简洁且性能高效。

所有SpatialVLA的检查点以及我们的训练代码库均在MIT许可证下发布。

如需了解完整详情，请阅读我们的论文并访问我们的项目页面。

🚀 快速开始

SpatialVLA仅依赖于HuggingFace Transformers 🤗，这使得模型的部署变得极为轻松。如果你的环境支持 transformers >= 4.47.0，你可以直接使用以下代码加载模型并进行推理（需要8.5GB的GPU内存）。

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="bridge_orig/1.0.0")
print(actions)

✨ 主要特性

• 基于空间增强技术，在视觉-语言-动作任务上表现出色。
• 代码基于HuggingFace，简洁高效，易于部署。
• 在多个机器人任务评估中展现出优秀性能。

📦 安装指南

如果你想使用该模型进行微调或预训练，你需要先克隆官方仓库：

git clone https://github.com/SpatialVLA/SpatialVLA.git

然后安装所需的包，并从Hugging Face模型中心下载模型。SpatialVLA的VLM骨干网络是PaLiGemma2，这需要 transformers >= 4.47.0。因此，请创建一个Python版本 >= 3.10的Python环境：

conda create -n spatialvla python=3.10
conda activate spatialvla

从 requirements.txt 文件中安装包。请注意，我们使用了一个定制的 dlimp 来支持种子设置以确保结果可复现。如果你遇到任何问题，请从dlimp_custom手动安装 dlimp。

pip install -r requirements.txt

从头开始训练

SpatialVLA在64个A100 GPU集群上，使用来自OXE和RH20T数据集的110万个真实机器人演示进行了约10天的预训练，批次大小为2048。你可以使用以下命令从头开始预训练模型：

# torchrun
bash scripts/spatialvla_4b_pretrain/torchrun_pretrain.sh

# 或在slurm集群中
bash scripts/spatialvla_4b_pretrain/slurm_pretrain.sh

微调

我们的大多数微调实验是在4个或8个A100 GPU上使用LoRA进行的。你可以使用以下脚本进行全参数或LoRA微调。对于使用小数据集的真实世界实验，我们建议使用LoRA进行微调。

# 全参数微调
bash scripts/spatialvla_4b_finetune/finetune_full.sh

# LoRA微调
bash scripts/spatialvla_4b_finetune/finetune_lora.sh

📚 详细文档

模型详情

模型描述

模型使用范围

• 直接使用：在支持 transformers >= 4.47.0 的环境中，可直接使用提供的代码加载模型并进行推理。
• 超出适用范围：SpatialVLA模型无法在零样本情况下泛化到新的（未见过的）机器人实体或预训练混合中未涵盖的设置。在这些情况下，我们建议在所需设置上收集演示数据集，并对SpatialVLA模型进行微调。

评估

• Google机器人任务的SimplerEnv评估

• WidowX机器人任务的SimplerEnv评估

• LIBERO仿真基准测试结果

• WidowX机器人的零样本机器人控制评估

• 空间理解能力评估

• Franka机器人适应新机器人设置

📄 许可证

本项目采用MIT许可证。

📚 引用

如果你在研究中使用了SpatialVLA，请使用以下BibTeX引用：

@misc{qu2025spatialvlaexploringspatialrepresentations,
      title={SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model}, 
      author={Delin Qu and Haoming Song and Qizhi Chen and Yuanqi Yao and Xinyi Ye and Yan Ding and Zhigang Wang and JiaYuan Gu and Bin Zhao and Dong Wang and Xuelong Li},
      year={2025},
      eprint={2501.15830},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2501.15830}, 
}