Flower Calvin Abc

🚀 FlowerVLA - 用於CALVIN ABC的視覺-語言-動作流模型

FlowerVLA是一個預訓練模型，專為機器人操作任務設計，在CALVIN ABC數據集上完成訓練。Flower是一種高效的視覺-語言-動作流策略，用於機器人學習，僅包含10億個參數。

🚀 快速開始

你可以在Github上查看我們完整的模型實現 todo，並按照README中的說明在其中一個環境中測試該模型。

obs = {
    "rgb_obs": {
        "rgb_static": static_image,
        "rgb_gripper": gripper_image
    }
}
goal = {"lang_text": "pick up the blue cube"}
action = model.step(obs, goal)

✨ 主要特性

FlowerVLA是一種新穎的架構，具有以下特點：

• 使用Florence - 2的一半進行多模態視覺-語言編碼
• 採用了一種基於Transformer的新型流匹配架構
• 僅用約10億個參數，就提供了一種高效、通用的視覺-語言-動作（VLA）策略

📚 詳細文檔

模型性能

此檢查點包含用於CALVIN ABC挑戰的權重，目前排名第一，具體結果如下：

輸入/輸出規格

輸入

• RGB靜態相機：(B, T, 3, H, W) 張量
• RGB夾爪相機：(B, T, 3, H, W) 張量
• 語言指令：文本字符串

輸出

• 動作空間：(B, T, 7) 張量，表示末端執行器（EEF）的增量動作

🔧 技術細節

配置

• 優化器：AdamW
• 學習率：2e - 5
• 權重衰減：0.05

引用

@inproceedings{
    reuss2025flower,
    # Add citation when available
}

📄 許可證

該模型根據MIT許可證發佈。

💻 使用示例

基礎用法

obs = {
    "rgb_obs": {
        "rgb_static": static_image,
        "rgb_gripper": gripper_image
    }
}
goal = {"lang_text": "pick up the blue cube"}
action = model.step(obs, goal)

高級用法

暫未提供高級用法示例，你可以持續關注我們的Github倉庫獲取最新信息。

信息表格