Cogact Base

🚀 CogACT-Base

CogACTは、VLMから派生した新しい高度なVLAアーキテクチャです。以前の研究では、単純なアクション量子化によってVLMをアクション予測にそのまま転用していましたが、我々はVLMの出力に条件付けられた専用のアクションモジュールを持つコンポーネント化されたVLAアーキテクチャを提案しています。CogACT-Baseは、アクションモジュールとしてDiT-Baseモデルを採用しています。

我々のコードと事前学習済みのモデルウェイトはすべて、MITライセンスの下で提供されています。

詳細については、プロジェクトページと論文を参照してください。

🚀 クイックスタート

CogACTは、言語命令と単一視点のRGB画像を入力として受け取り、次の16個の正規化されたロボットアクションを予測します（形式が x, y, z, roll, pitch, yaw, gripper の7自由度のエンドエフェクタの変位から構成されます）。これらのアクションは、我々の Adaptive Action Ensemble（オプション）によって非正規化され、統合される必要があります。非正規化と統合は、データセットの統計情報に依存します。

CogACTモデルは、Open-X事前学習ミックスで見られる設定のロボットをゼロショットで制御するために使用できます。また、非常に少量のデモンストレーションで新しいタスクやロボット設定に対して微調整することもできます。詳細については、我々のリポジトリを参照してください。

✨ 主な機能

CogACTは、VLMから派生した新しい高度なVLAアーキテクチャを持ち、専用のアクションモジュールを備えています。これにより、ロボットのアクション予測をより効果的に行うことができます。また、ゼロショット学習や微調整に対応しており、様々なロボットタスクに適用できます。

📦 インストール

このセクションでは、インストール手順に関する具体的なコマンドが提供されていないため、省略します。

💻 使用例

基本的な使用法

# Please clone and install dependencies in our repo
# Install minimal dependencies (`torch`, `transformers`, `timm`, `tokenizers`, ...)

from PIL import Image
from vla import load_vla
import torch

model = load_vla(
      'CogACT/CogACT-Base',
      load_for_training=False,
      action_model_type='DiT-B',
      future_action_window_size=15,
    )                                 
# about 30G Memory in fp32; 

# (Optional) use "model.vlm = model.vlm.to(torch.bfloat16)" to load vlm in bf16

model.to('cuda:0').eval()

image: Image.Image = <input_your_image>
prompt = "move sponge near apple"           # input your prompt

# Predict Action (7-DoF; un-normalize for RT-1 google robot data, i.e. fractal20220817_data)
actions, _ = model.predict_action(
          image,
          prompt,
          unnorm_key='fractal20220817_data', # input your unnorm_key of dataset
          cfg_scale = 1.5,                   # cfg from 1.5 to 7 also performs well
          use_ddim = True,                   # use DDIM sampling
          num_ddim_steps = 10,               # number of steps for DDIM sampling
        )

# results in 7-DoF actions of 16 steps with shape [16, 7]

📚 ドキュメント

モデル概要

• 開発者: Microsoft Research Asiaの研究者から構成されるCogACTチーム
• モデルタイプ: Vision-Language-Action（言語、画像 => ロボットアクション）
• 言語 (NLP): 英語
• ライセンス: MIT
• モデルコンポーネント:
  • ビジョンバックボーン: DINOv2 ViT-L/14 と SigLIP ViT-So400M/14
  • 言語モデル: Llama-2
  • アクションモデル: DiT-Base
• 事前学習データセット: Open X-Embodimentのサブセット
• リポジトリ: https://github.com/microsoft/CogACT
• 論文: CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation
• プロジェクトページ: https://cogact.github.io/

🔧 技術詳細

このセクションでは、具体的な技術説明が50字以上提供されていないため、省略します。

📄 ライセンス

我々のコードと事前学習済みのモデルウェイトはすべて、MITライセンスの下で提供されています。

引用

@article{li2024cogact,
  title={CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation},
  author={Li, Qixiu and Liang, Yaobo and Wang, Zeyu and Luo, Lin and Chen, Xi and Liao, Mozheng and Wei, Fangyun and Deng, Yu and Xu, Sicheng and Zhang, Yizhong and others},
  journal={arXiv preprint arXiv:2411.19650},
  year={2024}
}