M

Minicpm4 8B

由openbmb開發
MiniCPM4是專為端側設備設計的高效大語言模型,通過系統創新在模型架構、訓練數據、訓練算法和推理系統四個維度實現極致效率提升,在端側芯片上可實現超5倍的生成加速。
下載量 643
發布時間 : 6/5/2025

模型概述

MiniCPM4系列包含多個不同規模的模型,專注於在端側設備上實現高效的大語言模型推理,支持長文本處理和多任務處理。

模型特點

高效模型架構
採用InfLLM v2可訓練稀疏注意力機制,在處理128K長文本時,每個token只需與不到5%的token計算相關性,顯著降低長文本計算開銷。
高效學習算法
引入Model Wind Tunnel 2.0高效可預測縮放方法,採用BitCPM極端三元量化將模型參數位寬壓縮至3值,實現90%的極端模型位寬減少。
高質量訓練數據
構建UltraClean高質量預訓練數據過濾和生成策略,開源高質量中英預訓練數據集UltraFinweb。
高效推理系統
集成CPM.cu輕量級高效CUDA推理框架,整合稀疏注意力、模型量化和推測採樣,實現高效預填充和解碼。
長文本處理能力
原生支持最長32,768個token的上下文長度,通過RoPE縮放技術可擴展至131,072個token。

模型能力

文本生成
對話系統
長文本理解
工具調用
調查論文生成
多輪對話
知識密集型任務處理
推理密集型任務處理

使用案例

內容生成
文章寫作
根據用戶提示生成關於特定主題的文章
可生成結構完整、內容相關的長篇文章
調查論文生成
基於用戶查詢自主生成可信的長篇調查論文
MiniCPM4-Survey變體專門優化此功能
智能助手
多輪對話
與用戶進行自然流暢的多輪對話
支持上下文理解和連貫的對話流
工具調用
根據用戶需求自主調用相關工具
MiniCPM4-MCP變體專門優化此功能
信息檢索與處理
長文檔分析
處理和分析長達128K token的長文檔
在大海撈針測試中表現出色
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase