Octo Small

🚀 Octo Small

Octo Smallは、ロボット工学の分野で使用されるモデルです。このモデルは、特定のウィンドウサイズと拡散ポリシーを用いて学習され、将来の行動を予測することができます。

🚀 クイックスタート

このモデルの使用方法については、https://github.com/octo-models/octo を参照してください。

🔧 技術詳細

Octo Smallは、ウィンドウサイズ2で学習され、拡散ポリシーを使用して4ステップ先の7次元の行動を予測します。このモデルは、27Mのパラメータを持つTransformer（ViT - S相当）です。画像は、軽量な畳み込みエンコーダで前処理されてトークン化され、16x16のパッチにグループ化されます。言語は、T5トークナイザを適用し、次にT5 - Base言語エンコーダを適用してトークン化されます。

観測とタスクの仕様

観測

{
    image_primary: ('batch', 'history_window', 256, 256, 3),
    image_wrist: ('batch', 'history_window', 128, 128, 3),
}

タスク

{
    image_primary: ('batch', 256, 256, 3),
    image_wrist: ('batch', 128, 128, 3),
    language_instruction: {
        attention_mask: ('batch', 16),
        input_ids: ('batch', 16),
    },
}

推論時には、これらの観測とタスクのキーの任意のサブセットを、最大2タイムステップの履歴ウィンドウで渡すことができます。

学習データセット

このモデルは、Open X - Embodimentデータセットの混合データセットで学習されました。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。