Octo Base 1.5

🚀 Octo Base

Octo Baseは、ロボット工学の分野で使用されるモデルです。このモデルは、拡散ポリシーを用いて未来の行動を予測し、Transformerアーキテクチャを採用しています。

🚀 クイックスタート

このモデルの使用方法については、https://github.com/octo-models/octo を参照してください。

✨ 主な機能

• Octo Baseはウィンドウサイズ2で学習され、拡散ポリシーを用いて未来4ステップの7次元行動を予測します。
• モデルは93Mのパラメータを持つTransformer（ViT - Bと同等）です。
• 画像は軽量な畳み込みエンコーダで前処理され、16x16のパッチにグループ化されます。
• 言語はT5トークナイザを適用し、T5 - Base言語エンコーダを使用してトークン化されます。

📚 ドキュメント

観測とタスクの仕様

観測

{
    image_primary: ('batch', 'history_window', 256, 256, 3),
    image_wrist: ('batch', 'history_window', 128, 128, 3),
}

タスク

{
    image_primary: ('batch', 256, 256, 3),
    image_wrist: ('batch', 128, 128, 3),
    language_instruction: {
        attention_mask: ('batch', 16),
        input_ids: ('batch', 16),
    },
}

推論時には、これらの観測とタスクのキーの任意のサブセットを、最大2タイムステップの履歴ウィンドウで渡すことができます。

学習データセット

このモデルは、Open X - Embodimentデータセットの混合データで学習されています。

バージョン1.5の更新内容

• 言語タスクトークンがコンテキストウィンドウの各タイムステップで繰り返されるようになりました。
• データ内の言語指示をGPT - 3.5の言い換えで拡張しました。
• バグ修正:
  • 拡散ヘッドのドロップアウトをレイヤーノルムとの互換性の問題でオフにしました。
  • アテンションマスクのオフバイワンエラーを修正しました。
  • 異なる画像拡張が新しいランダムシードを取得しない問題を修正しました。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。