Spatialvla 4b Mix 224 Pt

🚀 SpatialVLA在分形与桥梁数据集上的微调模型

本模型是通过在分形和桥梁数据集上对 SpatialVLA模型 进行微调得到的。为了提高最终性能，我们对训练数据集做了一些修改（详情请参考 SpatialVLA论文）。该模型仅用于我们论文中表V的领域数据集微调消融实验。

✨ 主要特性

• 基于SpatialVLA模型在特定数据集上微调，提升了特定任务的性能。
• 依赖HuggingFace Transformers库，便于部署。

📦 安装指南

如果你想使用该模型进行微调或预训练，需要先克隆 官方仓库：

git clone https://github.com/SpatialVLA/SpatialVLA.git

然后安装所需的包，并从Hugging Face模型中心下载模型。SpatialVLA的视觉语言模型（VLM）骨干是PaLiGemma2，需要 transformers >= 4.47.0。因此，创建一个Python版本大于等于3.10的环境：

conda create -n spatialvla python=3.10
conda activate spatialvla

从 requirements.txt 文件中安装包。注意，我们使用了一个自定义的 dlimp 来支持种子设置以实现可重复性。如果你遇到任何问题，请从 dlimp_custom 手动安装 dlimp。

pip install -r requirements.txt

💻 使用示例

基础用法

SpatialVLA仅依赖HuggingFace Transformers 🤗，部署极为简单。如果你的环境支持 transformers >= 4.47.0，可以直接使用以下代码加载模型并进行推理（需要8.5GB的GPU内存）。

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="bridge_orig/1.0.0")
print(actions)

高级用法

从头开始训练

SpatialVLA在64个A100 GPU的集群上，使用来自OXE和RH20T数据集的110万个真实机器人演示数据进行了约10天的预训练，批次大小为2048。你可以使用以下命令从头开始预训练模型：

# torchrun
bash scripts/spatialvla_4b_pretrain/torchrun_pretrain.sh

# 或在slurm集群中
bash scripts/spatialvla_4b_pretrain/slurm_pretrain.sh

微调

我们的大多数微调实验是在4或8个A100 GPU上使用LoRA进行的。你可以使用以下脚本进行全参数或LoRA微调。对于小数据集的真实世界实验，我们建议使用LoRA进行微调。

# 全参数微调
bash scripts/spatialvla_4b_finetune/finetune_full.sh

# LoRA微调
bash scripts/spatialvla_4b_finetune/finetune_lora.sh

📚 详细文档

模型详情

模型使用范围

SpatialVLA模型不能对新的（未见过的）机器人实体或预训练混合中未涵盖的设置进行零样本泛化；在这些情况下，我们建议在所需设置上收集演示数据集，并对SpatialVLA模型进行微调。

评估

SimplerEnv在Google机器人任务上的评估

SimplerEnv在WidowX机器人任务上的评估

WidowX机器人的零样本机器人控制评估

空间理解能力评估

📄 许可证

本模型使用的许可证为MIT。

📚 引用

如果你在研究中使用了本模型，请使用以下BibTeX引用：

@misc{qu2025spatialvlaexploringspatialrepresentations,
      title={SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model}, 
      author={Delin Qu and Haoming Song and Qizhi Chen and Yuanqi Yao and Xinyi Ye and Yan Ding and Zhigang Wang and JiaYuan Gu and Bin Zhao and Dong Wang and Xuelong Li},
      year={2025},
      eprint={2501.15830},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2501.15830}, 
}