Nora

🚀 Nora

Nora是一个开源的视觉-语言-动作模型，它基于来自Open X-Embodiment数据集的机器人操作片段进行训练。该模型以语言指令和相机图像作为输入，生成机器人动作。Nora直接基于Qwen 2.5 VL - 3B进行训练。所有Nora的检查点以及我们的训练代码库均在MIT许可下发布。

🚀 快速开始

要开始加载并运行Nora进行推理，我们提供了一个轻量级接口，其依赖项极少。

git clone https://github.com/declare-lab/nora
cd inference
pip install -r requirements.txt

例如，要在BridgeData V2环境中使用WidowX机器人加载Nora以进行零样本指令跟踪：

# 加载VLA
from inference.nora import Nora
nora = Nora(device='cuda')

# 获取输入
image: Image.Image = camera(...)
instruction: str = <INSTRUCTION>
# 预测动作（7自由度；对BridgeData V2进行反归一化）
actions = nora.inference(
    image=image,  # 虚拟图像
    instruction=instruction,
    unnorm_key='bridge_orig'  # 可选，如有需要可指定
)
# 执行...
robot.act(action, ...)

✨ 主要特性

Nora模型具有以下主要特性：

• 输入语言指令和机器人工作空间的相机图像，预测由7自由度末端执行器增量（形式为(x, y, z, roll, pitch, yaw, gripper)）组成的（归一化）机器人动作。
• 若要在实际机器人平台上执行，动作需要根据每个机器人和每个数据集计算的统计数据进行反归一化。

📚 详细文档

模型描述

• 模型类型：视觉 - 语言 - 动作（语言、图像 => 机器人动作）
• 语言（NLP）：英语
• 许可证：MIT
• 微调基础模型：Qwen 2.5 VL - 3B

模型来源

• 仓库：https://github.com/declare-lab/nora
• 论文：https://www.arxiv.org/abs/2504.19854
• 演示：https://declare-lab.github.io/nora

📄 许可证

所有Nora检查点以及训练代码库均在MIT许可下发布。