Nora Long

🚀 Nora-Long

Nora-Long是一個開源的視覺-語言-動作模型，它基於Open X-Embodiment數據集中的機器人操作片段進行訓練。該模型以語言指令和相機圖像作為輸入，生成機器人動作。Nora-Long直接基於Qwen 2.5 VL - 3B進行訓練。所有Nora的檢查點以及我們的訓練代碼庫均在MIT許可下發布。

與Nora不同，Nora-Long以5的動作視野進行預訓練。我們發現，在WidowX機器人任務中，Nora-Long的性能較差，但在libero模擬中表現更優。歡迎對該模型進行微調！

✨ 主要特性

• 跨模態處理：能夠融合語言指令和相機圖像信息，生成相應的機器人動作。
• 基於開源數據集訓練：使用Open X-Embodiment數據集，具有良好的通用性。
• 可微調性：用戶可以根據自身需求對模型進行微調。

📦 安裝指南

文檔中未提及具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

Nora以語言指令和機器人工作空間的相機圖像作為輸入，預測由7自由度末端執行器增量（形式為(x, y, z, roll, pitch, yaw, gripper)）組成的（歸一化）機器人動作。要在實際機器人平臺上執行，需要根據每個機器人和每個數據集計算的統計信息對動作進行反歸一化。關於如何運行Nora的說明可在此處查看。

高級用法

文檔中未提及高級用法相關代碼示例，故跳過此部分。

📚 詳細文檔

模型描述

模型來源

• 倉庫：https://github.com/declare-lab/nora
• 論文：https://www.arxiv.org/abs/2504.19854
• 演示：https://declare-lab.github.io/nora

🔧 技術細節

文檔中未提供具體的技術實現細節，故跳過此章節。

📄 許可證

所有Nora檢查點以及訓練代碼庫均在MIT許可下發布。