Spatialvla 4b 224 Sft Bridge

🚀 SpatialVLA在fractal和bridge上的微调模型

本模型是通过在bridge数据集上对 SpatialVLA模型 进行微调得到的，用于Simpler-env基准测试。

🚀 快速开始

SpatialVLA仅依赖HuggingFace Transformers 🤗，这使得模型的部署变得极为轻松。如果你的环境支持 transformers >= 4.47.0，你可以直接使用以下代码加载模型并进行推理（需要8.5GB的GPU内存）。

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="bridge_orig/1.0.0")
print(actions)

✨ 主要特性

• 基于HuggingFace Transformers，部署简单。
• 可进行图像文本到文本的转换。
• 适用于机器人视觉语言动作任务。

📦 安装指南

如果你想使用该模型进行微调或预训练，你需要先克隆 官方仓库：

git clone https://github.com/SpatialVLA/SpatialVLA.git

然后安装所需的包，并从Hugging Face模型中心下载模型。SpatialVLA的VLM主干是PaLiGemma2，需要 transformers >= 4.47.0。因此，请创建一个Python版本大于等于3.10的环境：

conda create -n spatialvla python=3.10
conda activate spatialvla

从 requirements.txt 文件中安装包。请注意，我们使用了一个自定义的 dlimp 来支持可重复性的种子设置。如果你遇到任何问题，请从 dlimp_custom 手动安装dlimp。

pip install -r requirements.txt

从头开始训练

SpatialVLA在64个A100 GPU集群上，使用来自OXE和RH20T数据集的110万个真实机器人演示进行了约10天的预训练，批次大小为2048。你可以使用以下命令从头开始预训练模型：

# torchrun
bash scripts/spatialvla_4b_pretrain/torchrun_pretrain.sh

# 或在slurm集群中
bash scripts/spatialvla_4b_pretrain/slurm_pretrain.sh

微调

我们的大多数微调实验是在4个或8个A100 GPU上使用LoRA进行的。你可以使用以下脚本进行全参数或LoRA微调。对于小数据集的真实世界实验，我们建议使用LoRA进行微调。

# 全参数微调
bash scripts/spatialvla_4b_finetune/finetune_full.sh

# LoRA微调
bash scripts/spatialvla_4b_finetune/finetune_lora.sh

📚 详细文档

模型详情

模型描述

用途

直接使用

上述快速开始部分的代码展示了如何直接使用该模型进行推理。

超出范围的使用

SpatialVLA模型不能对新的（未见过的）机器人实体或预训练混合中未涵盖的设置进行零样本泛化。在这些情况下，我们建议在所需的设置上收集演示数据集，并对SpatialVLA模型进行微调。

评估

在Google机器人任务上的SimplerEnv评估

在WidowX机器人任务上的SimplerEnv评估

在WidowX机器人上的零样本机器人控制评估

空间理解能力评估

📄 许可证

本模型采用MIT许可证。

📚 引用

@misc{qu2025spatialvlaexploringspatialrepresentations,
      title={SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model}, 
      author={Delin Qu and Haoming Song and Qizhi Chen and Yuanqi Yao and Xinyi Ye and Yan Ding and Zhigang Wang and JiaYuan Gu and Bin Zhao and Dong Wang and Xuelong Li},
      year={2025},
      eprint={2501.15830},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2501.15830}, 
}