Octo Base

🚀 Octo Base

このモデルの使用方法については、https://github.com/octo-models/octo を参照してください。

Octo Baseは、ウィンドウサイズ2で学習され、拡散方策を使用して未来の4ステップ先の7次元アクションを予測します。このモデルは9300万のパラメータを持つTransformer（ViT - B相当）です。画像は軽量な畳み込みエンコーダで前処理されてトークン化され、16x16のパッチにグループ化されます。言語はT5トークナイザーを適用し、その後T5 - Base言語エンコーダを適用してトークン化されます。

観測値とタスクは以下の仕様に準拠しています。

観測値

{
    image_primary: ('batch', 'history_window', 256, 256, 3),
    image_wrist: ('batch', 'history_window', 128, 128, 3),
}

タスク

{
    image_primary: ('batch', 256, 256, 3),
    image_wrist: ('batch', 128, 128, 3),
    language_instruction: {
        attention_mask: ('batch', 16),
        input_ids: ('batch', 16),
    },
}

推論時には、これらの観測値とタスクのキーの任意のサブセットを、最大2タイムステップの履歴ウィンドウで渡すことができます。

このモデルは、Open X - Embodimentデータセットのデータセットの混合で学習されました。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。