Octo Small 1.5

🚀 Octo Small

Octo Small是一個用於機器人領域的模型。它能以窗口大小2進行訓練，使用擴散策略預測未來4步的7維動作。本模型為具有2700萬個參數的Transformer（相當於ViT - S）。用戶可參考此鏈接獲取該模型的使用說明。

🚀 快速開始

請訪問https://github.com/octo-models/octo獲取使用此模型的詳細說明。

✨ 主要特性

• Octo Small使用窗口大小為2進行訓練，藉助擴散策略預測未來4步的7維動作。
• 模型採用Transformer架構，擁有2700萬個參數，與ViT - S相當。
• 圖像通過輕量級卷積編碼器預處理後進行分詞，然後分組為16x16的圖像塊。
• 語言通過T5分詞器進行分詞，再使用T5 - Base語言編碼器。

🔧 技術細節

觀察與任務規範

觀察數據

{
    image_primary: ('batch', 'history_window', 256, 256, 3),
    image_wrist: ('batch', 'history_window', 128, 128, 3),
}

任務數據

{
    image_primary: ('batch', 256, 256, 3),
    image_wrist: ('batch', 128, 128, 3),
    language_instruction: {
        attention_mask: ('batch', 16),
        input_ids: ('batch', 16),
    },
}

在推理時，你可以傳入這些觀察和任務鍵的任意子集，歷史窗口最多為2個時間步。

訓練數據集

本模型在Open X - Embodiment數據集中的多個數據集組合上進行訓練，各數據集在批次中的佔比如下：

📚 詳細文檔

1.5版本更新內容

• 語言任務令牌現在在上下文窗口的每個時間步重複。
• 使用GPT - 3.5的改述對數據中的語言指令進行增強。
• 修復了以下問題：
  • 由於與層歸一化不兼容，關閉了擴散頭中的Dropout。
  • 修復了注意力掩碼的差一錯誤。
  • 修復了不同圖像增強未獲得新隨機種子的問題。

📄 許可證

本項目採用MIT許可證。