Octo Small 1.5

🚀 Octo Small

Octo Smallは、ロボット工学の分野で使用されるモデルです。このモデルを使用するための詳細な手順については、こちらのリンクを参照してください。

🚀 クイックスタート

Octo Smallは、ウィンドウサイズ2でトレーニングされ、拡散ポリシーを使用して未来の4ステップの7次元アクションを予測します。このモデルは、27Mのパラメータを持つTransformer（ViT - Sと同等）です。画像は軽量な畳み込みエンコーダで前処理されてトークン化され、16x16のパッチにグループ化されます。言語はT5トークナイザーを適用し、その後T5 - Base言語エンコーダを適用してトークン化されます。

✨ 主な機能

観測とタスクの仕様

観測とタスクは以下の仕様に準拠しています。

観測

{
    image_primary: ('batch', 'history_window', 256, 256, 3),
    image_wrist: ('batch', 'history_window', 128, 128, 3),
}

タスク

{
    image_primary: ('batch', 256, 256, 3),
    image_wrist: ('batch', 128, 128, 3),
    language_instruction: {
        attention_mask: ('batch', 16),
        input_ids: ('batch', 16),
    },
}

推論時には、これらの観測とタスクのキーの任意のサブセットを、最大2タイムステップの履歴ウィンドウで渡すことができます。

トレーニングデータセット

このモデルは、Open X - Embodimentデータセットの複数のデータセットを混合してトレーニングされています。

📚 ドキュメント

バージョン1.5の更新内容

• 言語タスクのトークンが、コンテキストウィンドウ内のすべてのタイムステップで繰り返されるようになりました。
• データ内の言語指示をGPT - 3.5からの言い換えで拡張しました。
• バグ修正:
  • 拡散ヘッドのドロップアウトを、レイヤーノルムとの互換性の問題でオフにしました。
  • アテンションマスクのオフバイワンエラーを修正しました。
  • 異なる画像拡張が新しいランダムシードを取得しない問題を修正しました。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。