Cogact Small

🚀 CogACT-Small

CogACT是一種源自視覺語言模型（VLM）的全新高級視覺語言行動（VLA）架構。與以往通過簡單的動作量化直接將VLM用於動作預測的工作不同，我們提出了一種組件化的VLA架構，該架構擁有一個基於VLM輸出的專門動作模塊。CogACT-Small採用了DiT-S模型作為動作模塊。

我們所有的代碼、預訓練模型權重均遵循MIT許可證。

更多詳細信息請參考我們的項目頁面和論文。

📚 詳細文檔

模型概述

• 開發者：CogACT團隊，成員來自微軟亞洲研究院。
• 模型類型：視覺 - 語言 - 動作（語言、圖像 => 機器人動作）
• 語言（NLP）：英語
• 許可證：MIT
• 模型組件：
  • 視覺骨幹網絡：DINOv2 ViT - L/14和SigLIP ViT - So400M/14
  • 語言模型：Llama - 2
  • 動作模型：DiT - Small
• 預訓練數據集：Open X - Embodiment的一個子集
• 代碼倉庫：https://github.com/microsoft/CogACT
• 論文：CogACT: A Foundational Vision - Language - Action Model for Synergizing Cognition and Action in Robotic Manipulation
• 項目頁面：https://cogact.github.io/

模型用途

CogACT以語言指令和單視角RGB圖像作為輸入，預測接下來的16個歸一化機器人動作（由7自由度末端執行器增量組成，形式為x, y, z, roll, pitch, yaw, gripper）。這些動作應通過我們的Adaptive Action Ensemble（可選）進行反歸一化和集成。反歸一化和集成依賴於數據集統計信息。

CogACT模型可以進行零樣本學習，以控制在Open - X預訓練混合數據中出現過的機器人設置。它們也可以通過極少量的演示樣本針對新任務和機器人設置進行微調。更多信息請參閱我們的代碼倉庫。

推理示例

以下是一個簡單的推理示例：

# 請克隆並安裝我們倉庫中的依賴項
# 安裝最小依賴項 (`torch`, `transformers`, `timm`, `tokenizers`, ...)

from PIL import Image
from vla import load_vla
import torch

model = load_vla(
      'CogACT/CogACT-Small',
      load_for_training=False,
      action_model_type='DiT-S',
      future_action_window_size=15,
    )                                 
# 在fp32模式下約佔用30G內存; 

# (可選) 使用 "model.vlm = model.vlm.to(torch.bfloat16)" 以bf16模式加載vlm

model.to('cuda:0').eval()

image: Image.Image = <input_your_image>
prompt = "move sponge near apple"           # 輸入你的提示

# 預測動作 (7自由度; 對RT-1谷歌機器人數據進行反歸一化，即fractal20220817_data)
actions, _ = model.predict_action(
          image,
          prompt,
          unnorm_key='fractal20220817_data', # 輸入你的數據集反歸一化鍵
          cfg_scale = 1.5,                   # cfg在1.5到7之間效果也很好
          use_ddim = True,                   # 使用DDIM採樣
          num_ddim_steps = 10,               # DDIM採樣的步數
        )

# 結果為16步的7自由度動作，形狀為 [16, 7]

引用信息

@article{li2024cogact,
  title={CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation},
  author={Li, Qixiu and Liang, Yaobo and Wang, Zeyu and Luo, Lin and Chen, Xi and Liao, Mozheng and Wei, Fangyun and Deng, Yu and Xu, Sicheng and Zhang, Yizhong and others},
  journal={arXiv preprint arXiv:2411.19650},
  year={2024}
}

📄 許可證

本項目的所有代碼和預訓練模型權重均遵循MIT許可證。