Robobrain2.0 7B GGUF

🚀 RoboBrain2.0-7B GGUF模型

RoboBrain2.0-7B GGUF模型是用於機器人領域的強大模型，它在多智能體任務規劃、空間推理和閉環執行等方面有顯著提升，能為機器人應用提供更智能的決策和執行能力。

🚀 快速開始

環境搭建

# 克隆倉庫
git clone https://github.com/FlagOpen/RoboBrain2.0.git
cd RoboBrain

# 創建conda環境
conda create -n robobrain2 python=3.10
conda activate robobrain2
pip install -r requirements.txt

簡單推理

注意：請參考 RoboBrain 2.0 Github 瞭解RoboBrain 2.0的使用方法。

✨ 主要特性

RoboBrain 2.0 支持以下特性：

• 交互式推理：具備長週期規劃和閉環反饋能力。
• 空間感知：能根據複雜指令進行精確的點和邊界框預測。
• 時間感知：可進行未來軌跡估計。
• 場景推理：通過即時結構化內存構建和更新實現。

📦 安裝指南

# 克隆倉庫
git clone https://github.com/FlagOpen/RoboBrain2.0.git
cd RoboBrain

# 創建conda環境
conda create -n robobrain2 python=3.10
conda activate robobrain2
pip install -r requirements.txt

📚 詳細文檔

模型生成細節

該模型使用 llama.cpp 在提交版本 6adc3c3e 時生成。

超IMatrix量化

我一直在嘗試一種新的量化方法，該方法有選擇地提高關鍵層的精度，超越了默認IMatrix配置的精度。

在測試中，標準的IMatrix量化在低比特深度下表現不佳，尤其是對於專家混合（MoE）模型。為了解決這個問題，我使用 llama.cpp 中的 --tensor-type 選項手動將重要層的精度提高。你可以在以下鏈接查看實現代碼： 使用llama.cpp進行層提升

雖然這會增加模型文件的大小，但它顯著提高了給定量化級別的精度。

選擇合適的GGUF模型格式

點擊此處獲取選擇合適GGUF模型格式的信息

架構

RoboBrain 2.0 支持 多圖像、長視頻 和 高分辨率視覺輸入，以及語言端的複雜任務指令和結構化 場景圖。視覺輸入通過視覺編碼器和MLP投影器進行處理，而文本輸入則被標記為統一的標記流。所有輸入都被送入 LLM解碼器，該解碼器執行 長鏈思維推理 並輸出結構化計劃、空間關係以及 相對 和 絕對座標。

模型庫

更多結果

跨空間推理和任務規劃的基準測試比較。RoboBrain2.0-32B 在四個關鍵具身智能基準測試中達到了最先進的性能：BLINK-Spatial、CV-Bench、EmbSpatial 和 RefSpatial。它不僅優於領先的開源模型，如o4-mini和Qwen2.5-VL，還超越了閉源模型，如Gemini 2.5 Pro和Claude Sonnet 4 —— 特別是在具有挑戰性的 RefSpatial 基準測試中，RoboBrain2.0 顯示出超過50%的絕對提升。

測試模型

如果你認為這些模型有用，可以幫助我測試我的 人工智能驅動的量子網絡監控助手 進行 量子就緒安全檢查： 量子網絡監控

量子網絡監控服務的完整開源代碼可在我的GitHub倉庫中找到（倉庫名稱包含NetworkMonitor）：量子網絡監控源代碼。如果你想自己進行模型量化，也可以找到我使用的代碼 GGUFModelBuilder。

測試方法

選擇一種 人工智能助手類型：

• TurboLLM (GPT-4.1-mini)
• HugLLM (Huggingface開源模型)
• TestLLM (僅支持CPU的實驗性模型)

測試內容

我正在挑戰 用於人工智能網絡監控的小型開源模型 的極限，具體包括：

• 針對即時網絡服務進行 函數調用
• 模型可以多小 同時仍能處理：
  • 自動 Nmap安全掃描
  • 量子就緒檢查
  • 網絡監控任務

TestLLM - 當前實驗性模型（在Huggingface Docker空間的2個CPU線程上運行llama.cpp）

• 零配置設置
• 加載時間≥30秒（推理速度慢，但 無API成本）。由於成本較低，無令牌限制。
• 尋求幫助！ 如果你對 邊緣設備人工智能 感興趣，讓我們合作吧！

其他助手

• TurboLLM - 使用 gpt-4.1-mini：
  • 性能非常好，但不幸的是OpenAI按令牌收費。因此，令牌使用受限。
  • 創建自定義命令處理器以在量子網絡監控代理上運行.NET代碼
  • 即時網絡診斷和監控
  • 安全審計
  • 滲透測試（Nmap/Metasploit）
• HugLLM - 最新的開源模型：
  • 在Hugging Face推理API上運行。使用Novita託管的最新模型表現相當不錯。

示例命令

你可以測試以下示例命令：

1. "提供我的網站SSL證書信息"
2. "檢查我的服務器是否使用量子安全加密進行通信"
3. "對我的服務器進行全面的安全審計"
4. "創建一個命令處理器來...（你想要的任何內容）" 注意你需要安裝 量子網絡監控代理 才能運行.NET代碼。這是一個非常靈活和強大的功能，請謹慎使用！

結束語

我自掏腰包資助創建這些模型文件的服務器、運行量子網絡監控服務以及支付Novita和OpenAI的推理費用。模型創建和量子網絡監控項目背後的所有代碼都是 開源的。你可以隨意使用你認為有用的內容。

如果你欣賞這項工作，請考慮 請我喝咖啡。你的支持有助於支付服務成本，並使我能夠為大家提高令牌限制。

我也接受工作機會或贊助。

感謝！

📄 許可證

本項目採用Apache-2.0許可證。

📚 引用

如果你覺得這個項目有用，歡迎引用我們：

@article{RoboBrain 2.0 Technical Report,
    title={RoboBrain 2.0 Technical Report},
    author={BAAI RoboBrain Team},
    journal={arXiv preprint arXiv:TODO},
    year={2025}
}

@article{RoboBrain 1.0,
    title={Robobrain: A unified brain model for robotic manipulation from abstract to concrete},
    author={Ji, Yuheng and Tan, Huajie and Shi, Jiayu and Hao, Xiaoshuai and Zhang, Yuan and Zhang, Hengyuan and Wang, Pengwei and Zhao, Mengdi and Mu, Yao and An, Pengju and others},
    journal={arXiv preprint arXiv:2502.21257},
    year={2025}
}

@article{RoboOS,
    title={RoboOS: A Hierarchical Embodied Framework for Cross-Embodiment and Multi-Agent Collaboration},
    author={Tan, Huajie and Hao, Xiaoshuai and Lin, Minglan and Wang, Pengwei and Lyu, Yaoxu and Cao, Mingyu and Wang, Zhongyuan and Zhang, Shanghang},
    journal={arXiv preprint arXiv:2505.03673},
    year={2025}
}

@article{zhou2025roborefer,
    title={RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics},
    author={Zhou, Enshen and An, Jingkun and Chi, Cheng and Han, Yi and Rong, Shanyu and Zhang, Chi and Wang, Pengwei and Wang, Zhongyuan and Huang, Tiejun and Sheng, Lu and others},
    journal={arXiv preprint arXiv:2506.04308},
    year={2025}
}

@article{Reason-RFT,
    title={Reason-rft: Reinforcement fine-tuning for visual reasoning},
    author={Tan, Huajie and Ji, Yuheng and Hao, Xiaoshuai and Lin, Minglan and Wang, Pengwei and Wang, Zhongyuan and Zhang, Shanghang},
    journal={arXiv preprint arXiv:2503.20752},
    year={2025}
}

@article{Code-as-Monitor,
    title={Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection},
    author={Zhou, Enshen and Su, Qi and Chi, Cheng and Zhang, Zhizheng and Wang, Zhongyuan and Huang, Tiejun and Sheng, Lu and Wang, He},
    journal={arXiv preprint arXiv:2412.04455},
    year={2024}
}