Flower Calvin D

🚀 FlowerVLA - 用於CALVIN D的視覺-語言-動作流模型

FlowerVLA是一個預訓練模型，專為基於CALVIN D數據集的機器人操作任務而設計。Flower是一種高效的視覺-語言-動作流策略，用於機器人學習，僅包含10億參數。

✨ 主要特性

• 採用Florence - 2的一半架構進行多模態視覺 - 語言編碼。
• 運用了一種新穎的基於Transformer的流匹配架構。
• 僅用約10億參數就提供了一種高效、通用的視覺 - 語言 - 動作（VLA）策略。

📚 詳細文檔

模型性能

此檢查點包含CALVIN D挑戰的權重，目前排名第一，具體結果如下：

輸入/輸出規格

輸入

• RGB靜態相機：(B, T, 3, H, W) 張量
• RGB夾爪相機：(B, T, 3, H, W) 張量
• 語言指令：文本字符串

輸出

• 動作空間：(B, T, 7) 張量，表示末端執行器（EEF）的增量動作

💻 使用示例

基礎用法

obs = {
    "rgb_obs": {
        "rgb_static": static_image,
        "rgb_gripper": gripper_image
    }
}
goal = {"lang_text": "pick up the blue cube"}
action = model.step(obs, goal)

高級用法

你可以在GitHub上查看我們完整的模型實現 todo，並按照README中的說明在其中一個環境中測試該模型。

🔧 技術細節

配置

📄 許可證

該模型基於MIT許可證發佈。

引用

@inproceedings{
    reuss2025flower,
    # Add citation when available
}