Nora

🚀 Nora

Nora是一個開源的視覺-語言-動作模型，它基於來自Open X-Embodiment數據集的機器人操作片段進行訓練。該模型以語言指令和相機圖像作為輸入，生成機器人動作。Nora直接基於Qwen 2.5 VL - 3B進行訓練。所有Nora的檢查點以及我們的訓練代碼庫均在MIT許可下發布。

🚀 快速開始

要開始加載並運行Nora進行推理，我們提供了一個輕量級接口，其依賴項極少。

git clone https://github.com/declare-lab/nora
cd inference
pip install -r requirements.txt

例如，要在BridgeData V2環境中使用WidowX機器人加載Nora以進行零樣本指令跟蹤：

# 加載VLA
from inference.nora import Nora
nora = Nora(device='cuda')

# 獲取輸入
image: Image.Image = camera(...)
instruction: str = <INSTRUCTION>
# 預測動作（7自由度；對BridgeData V2進行反歸一化）
actions = nora.inference(
    image=image,  # 虛擬圖像
    instruction=instruction,
    unnorm_key='bridge_orig'  # 可選，如有需要可指定
)
# 執行...
robot.act(action, ...)

✨ 主要特性

Nora模型具有以下主要特性：

• 輸入語言指令和機器人工作空間的相機圖像，預測由7自由度末端執行器增量（形式為(x, y, z, roll, pitch, yaw, gripper)）組成的（歸一化）機器人動作。
• 若要在實際機器人平臺上執行，動作需要根據每個機器人和每個數據集計算的統計數據進行反歸一化。

📚 詳細文檔

模型描述

• 模型類型：視覺 - 語言 - 動作（語言、圖像 => 機器人動作）
• 語言（NLP）：英語
• 許可證：MIT
• 微調基礎模型：Qwen 2.5 VL - 3B

模型來源

• 倉庫：https://github.com/declare-lab/nora
• 論文：https://www.arxiv.org/abs/2504.19854
• 演示：https://declare-lab.github.io/nora

📄 許可證

所有Nora檢查點以及訓練代碼庫均在MIT許可下發布。