Flower Calvin Abcd

🚀 FlowerVLA - 用於CALVIN ABCD的視覺-語言-動作流模型

FlowerVLA是一個預訓練模型，專為基於CALVIN ABCD數據集的機器人操作任務而設計。Flower是一種高效的視覺 - 語言 - 動作流策略，僅含10億參數，適用於機器人學習。

🚀 快速開始

你可以在GitHub上查看我們完整的模型實現 todo，並按照README中的說明在其中一個環境中測試該模型。

obs = {
    "rgb_obs": {
        "rgb_static": static_image,
        "rgb_gripper": gripper_image
    }
}
goal = {"lang_text": "pick up the blue cube"}
action = model.step(obs, goal)

✨ 主要特性

• 創新架構：FlowerVLA採用了新穎的架構，使用了Florence - 2一半的結構進行多模態視覺 - 語言編碼。
• 高效策略：採用了基於Transformer的流匹配架構，僅用約10億參數就提供了高效、通用的VLA策略。

📚 詳細文檔

模型描述

FlowerVLA是一種新穎的架構，具有以下特點：

• 使用Florence - 2的一半進行多模態視覺 - 語言編碼。
• 採用了基於Transformer的新型流匹配架構。
• 僅用約10億參數就提供了高效、通用的VLA策略。

模型性能

此檢查點包含用於CALVIN ABCD挑戰的權重，目前排名第一，結果如下：

輸入/輸出規格

輸入

• RGB靜態相機：(B, T, 3, H, W) 張量
• RGB夾爪相機：(B, T, 3, H, W) 張量
• 語言指令：文本字符串

輸出

• 動作空間：(B, T, 7) 張量，表示EEF的增量動作

💻 使用示例

基礎用法

obs = {
    "rgb_obs": {
        "rgb_static": static_image,
        "rgb_gripper": gripper_image
    }
}
goal = {"lang_text": "pick up the blue cube"}
action = model.step(obs, goal)

🔧 技術細節

配置

• 優化器：AdamW
• 學習率：2e - 5
• 權重衰減：0.05

引用

@inproceedings{ reuss2025flower, # Add citation when available }

📄 許可證

該模型遵循MIT許可證發佈。