Minicpm4 8B GGUF

🚀 MiniCPM4 - 高效邊緣大模型

MiniCPM4 是一款專為端側設備設計的高效大語言模型，它在模型架構、訓練數據、訓練算法和推理系統四個關鍵維度進行了系統性創新，在相同規模下保持最優性能的同時實現了極致的效率提升，在典型端側芯片上可實現超 5 倍的生成加速。

GitHub 倉庫 | 技術報告

加入我們的 Discord 和 微信 社區

✨ 主要特性

最新動態

• [2025.06.06] MiniCPM4 系列發佈！該模型在相同規模下保持最優性能的同時實現了極致的效率提升，在典型端側芯片上可實現超 5 倍的生成加速！你可以在 這裡 查看技術報告。

MiniCPM4 系列模型

• MiniCPM4-8B：MiniCPM4 的旗艦模型，擁有 80 億參數，在 8T 標記上進行訓練。
• MiniCPM4-0.5B：MiniCPM4 的小版本，擁有 5 億參數，在 1T 標記上進行訓練。
• MiniCPM4-8B-Eagle-FRSpec：用於 FRSpec 的 Eagle 頭，加速 MiniCPM4-8B 的推測推理。
• MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu：使用 QAT 為 FRSpec 訓練的 Eagle 頭，有效集成推測和量化，為 MiniCPM4-8B 實現超加速。
• MiniCPM4-8B-Eagle-vLLM：vLLM 格式的 Eagle 頭，加速 MiniCPM4-8B 的推測推理。
• MiniCPM4-8B-marlin-Eagle-vLLM：vLLM 格式的量化 Eagle 頭，加速 MiniCPM4-8B 的推測推理。
• BitCPM4-0.5B：將極端三元量化應用於 MiniCPM4-0.5B，將模型參數壓縮為三元值，實現 90% 的位寬縮減。
• BitCPM4-1B：將極端三元量化應用於 MiniCPM3-1B，將模型參數壓縮為三元值，實現 90% 的位寬縮減。
• MiniCPM4-Survey：基於 MiniCPM4-8B，接受用戶查詢作為輸入，自主生成可信的長篇調查論文。
• MiniCPM4-MCP：基於 MiniCPM4-8B，接受用戶查詢和可用的 MCP 工具作為輸入，自主調用相關 MCP 工具以滿足用戶需求。
• MiniCPM4-8B-GGUF：MiniCPM4-8B 的 GGUF 版本。 (<-- 你在這裡)

詳細介紹

• 高效模型架構：
  • InfLLM v2 -- 可訓練稀疏注意力機制：採用可訓練的稀疏注意力機制架構，在 128K 長文本處理中，每個標記僅需與不到 5% 的標記計算相關性，顯著降低長文本的計算開銷。
• 高效學習算法：
  • 模型風洞 2.0 -- 高效可預測縮放：引入下游任務性能的縮放預測方法，實現更精確的模型訓練配置搜索。
  • BitCPM -- 極致三元量化：將模型參數位寬壓縮至 3 個值，實現 90% 的極端模型位寬縮減。
  • 高效訓練工程優化：採用 FP8 低精度計算技術，結合多標記預測訓練策略。
• 高質量訓練數據：
  • UltraClean -- 高質量預訓練數據過濾與生成：基於高效數據驗證構建迭代數據清理策略，開源高質量中英文預訓練數據集 UltraFinweb。
  • UltraChat v2 -- 高質量監督微調數據生成：構建大規模高質量監督微調數據集，涵蓋知識密集型數據、推理密集型數據、指令跟隨數據、長文本理解數據和工具調用數據等多個維度。
• 高效推理系統：
  • CPM.cu -- 輕量級高效 CUDA 推理框架：集成稀疏注意力、模型量化和推測採樣，實現高效預填充和解碼。
  • ArkInfer -- 跨平臺部署系統：支持在多個後端環境進行高效部署，提供靈活的跨平臺適配能力。

💻 使用示例

基礎用法

使用 llama.cpp 進行推理：

./llama-cli -c 1024 -m MiniCPM4-8B-Q4_K_M.gguf -n 1024 --top-p 0.7 --temp 0.7 --prompt "<|im_start|>user\n请写一篇关于人工智能的文章，详细介绍人工智能的未来发展和隐患。<|im_end|>\n<|im_start|>assistant\n"

⚠️ 聲明

• 作為一種語言模型，MiniCPM 通過學習大量文本生成內容。
• 然而，它不具備理解或表達個人觀點或價值判斷的能力。
• MiniCPM 生成的任何內容均不代表模型開發者的觀點或立場。
• 因此，用戶在使用 MiniCPM 生成的內容時，應自行承擔評估和驗證的全部責任。

📄 許可證

• 本倉庫和 MiniCPM 模型均遵循 Apache-2.0 許可證發佈。

📚 引用

• 如果您認為我們的工作有價值，請引用我們的 論文。

@article{minicpm4,
  title={{MiniCPM4}: Ultra-Efficient LLMs on End Devices},
  author={MiniCPM Team},
  year={2025}
}