Nora

🚀 Nora

Noraは、Open X-Embodimentデータセットのロボット操作エピソードを使用して学習されたオープンなビジョン・言語・行動モデルです。このモデルは、言語命令とカメラ画像を入力として受け取り、ロボットの行動を生成します。Noraは、Qwen 2.5 VL-3Bから直接学習されています。 すべてのNoraのチェックポイントと学習コードベースは、MITライセンスの下で公開されています。

🚀 クイックスタート

Noraは、言語命令とロボット作業空間のカメラ画像を入力として受け取り、(正規化された)ロボットの行動を予測します。この行動は、(x, y, z, roll, pitch, yaw, gripper)の形式の7自由度のエンドエフェクタの変位で構成されています。実際のロボットプラットフォームで実行するには、行動を各ロボット、各データセットごとに計算された統計情報に基づいて非正規化する必要があります。

✨ 主な機能

Noraは、言語命令とカメラ画像を入力として受け取り、ロボットの行動を生成することができます。これにより、ロボットが自然言語で与えられたタスクを実行することが可能になります。

📦 インストール

Noraを推論用にロードして実行するには、最小限の依存関係で動作する軽量インターフェースを提供しています。

git clone https://github.com/declare-lab/nora
cd inference
pip install -r requirements.txt

💻 使用例

基本的な使用法

# Load VLA
from inference.nora import Nora
nora = Nora(device='cuda')

# Get Inputs
image: Image.Image = camera(...)
instruction: str = <INSTRUCTION>
# Predict Action (7-DoF; un-normalize for BridgeData V2)
actions = nora.inference(
    image=image,  # Dummy image
    instruction=instruction,
    unnorm_key='bridge_orig'  # Optional, specify if needed
)
# Execute...
robot.act(action, ...)

高度な使用法

たとえば、WidowXロボットを使用したBridgeData V2環境でのゼロショット命令追従のためにNoraをロードするには、上記のコードを使用します。

📚 ドキュメント

モデルの説明

• モデルの種類：ビジョン・言語・行動 (言語、画像 => ロボットの行動)
• 言語 (NLP)：英語
• ライセンス：MIT
• ファインチューニング元のモデル：Qwen 2.5 VL-3B

モデルのソース

• リポジトリ：https://github.com/declare-lab/nora
• 論文：https://www.arxiv.org/abs/2504.19854
• デモ：https://declare-lab.github.io/nora

📄 ライセンス

すべてのNoraのチェックポイントと学習コードベースは、MITライセンスの下で公開されています。