Spatialvla 4b 224 Sft Fractal

🚀 SpatialVLA在分形与桥梁数据集上的微调模型

本模型是通过在分形数据集上对 SpatialVLA模型 进行微调得到的，用于Simpler-env基准测试。

🚀 快速开始

SpatialVLA仅依赖HuggingFace Transformers 🤗，这使得模型的部署极为便捷。若你的环境支持 transformers >= 4.47.0，可直接使用以下代码加载模型并进行推理（需要8.5GB的GPU内存）。

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="fractal20220817_data/0.1.0")
print(actions)

✨ 主要特性

• 多团队合作研发：由来自上海人工智能实验室、上海科技大学和TeleAI的研究人员组成的SpatialVLA团队开发。
• 跨模态能力：属于视觉 - 语言 - 动作模型（语言、图像 => 机器人动作），能够根据输入的语言和图像信息输出机器人动作。
• 开源许可：采用MIT许可证，方便开发者使用和二次开发。
• 可微调性：基于预训练模型进行微调，能快速适应特定任务。

📦 安装指南

如果你想使用该模型进行微调或预训练，需要先克隆 官方仓库：

git clone https://github.com/SpatialVLA/SpatialVLA.git

然后安装所需的包，并从Hugging Face模型中心下载模型。SpatialVLA的视觉语言模型（VLM）骨干是PaLiGemma2，需要 transformers >= 4.47.0。因此，需要创建一个Python版本 >= 3.10的Python环境：

conda create -n spatialvla python=3.10
conda activate spatialvla

从 requirements.txt 文件中安装包。请注意，我们使用了自定义的 dlimp 来支持种子设置以确保结果可复现。如果你遇到任何问题，请从 dlimp_custom 手动安装 dlimp。

pip install -r requirements.txt

💻 使用示例

基础用法

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_name_or_path="IPEC-COMMUNITY/spatialvla-4b-224-pt"
processor = AutoProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).eval().cuda()

image = Image.open("example.png").convert("RGB")
prompt = "What action should the robot take to pick the cup?"
inputs = processor(images=[image], text=prompt, return_tensors="pt")
generation_outputs = model.predict_action(inputs)

actions = processor.decode_actions(generation_outputs, unnorm_key="fractal20220817_data/0.1.0")
print(actions)

高级用法

从头开始训练

SpatialVLA在64个A100 GPU集群上，使用来自OXE和RH20T数据集的110万个真实机器人演示数据进行了约10天的预训练，批次大小为2048。你可以使用以下命令从头开始预训练模型：

# torchrun
bash scripts/spatialvla_4b_pretrain/torchrun_pretrain.sh

# 或在slurm集群中
bash scripts/spatialvla_4b_pretrain/slurm_pretrain.sh

微调

我们的大多数微调实验是在4个或8个A100 GPU上使用LoRA进行的。你可以使用以下脚本进行全参数或LoRA微调。对于使用小数据集的真实世界实验，我们建议使用LoRA进行微调。

# 全参数微调
bash scripts/spatialvla_4b_finetune/finetune_full.sh

# LoRA微调
bash scripts/spatialvla_4b_finetune/finetune_lora.sh

📚 详细文档

模型详情

模型使用范围

SpatialVLA模型在未见过的新机器人实体或预训练混合中未涵盖的设置上无法进行零样本泛化。在这些情况下，我们建议在所需的设置上收集演示数据集，并对SpatialVLA模型进行微调。

评估

SimplerEnv在Google机器人任务上的评估

SimplerEnv在WidowX机器人任务上的评估

WidowX机器人的零样本机器人控制评估

空间理解能力评估

📄 许可证

本模型采用MIT许可证。

🔧 技术细节

本模型是通过在分形数据集上对SpatialVLA模型进行微调得到的。SpatialVLA的视觉语言模型骨干是PaLiGemma2，需要 transformers >= 4.47.0。在预训练阶段，使用了来自OXE和RH20T数据集的110万个真实机器人演示数据，在64个A100 GPU集群上进行了约10天的训练，批次大小为2048。微调实验大多在4个或8个A100 GPU上使用LoRA进行。

📚 引用

如果你在研究中使用了本模型，请引用以下论文：

@misc{qu2025spatialvlaexploringspatialrepresentations,
      title={SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model}, 
      author={Delin Qu and Haoming Song and Qizhi Chen and Yuanqi Yao and Xinyi Ye and Yan Ding and Zhigang Wang and JiaYuan Gu and Bin Zhao and Dong Wang and Xuelong Li},
      year={2025},
      eprint={2501.15830},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2501.15830}, 
}