Minicpm4 8B GGUF

🚀 MiniCPM4

MiniCPM4は、モデルアーキテクチャ、学習アルゴリズム、訓練データ、推論システムの4つの次元で効率的な最適化を行った、非常に効率的なエッジサイドの大規模言語モデルです。同じ規模で最高のパフォーマンスを維持しながら、極限までの効率向上を達成します。

GitHubリポジトリ | 技術レポート

Discordのチャンネル と 微信で私たちと交流しましょう

✨ 主な更新情報

• [2025.06.06] MiniCPM4 シリーズがリリースされました！このモデルは、同じ規模で最高のパフォーマンスを維持しながら、極限までの効率向上を達成します！典型的なエンドデバイスのチップで5倍以上の生成速度向上を実現できます。技術レポートはこちらから確認できます。

MiniCPM4シリーズ

MiniCPM4シリーズは、エンドデバイス向けに特別に設計された高効率の大規模言語モデル（LLM）です。この効率性は、モデルアーキテクチャ、訓練データ、訓練アルゴリズム、推論システムの4つの重要な次元での体系的な革新によって達成されています。

• MiniCPM4-8B: MiniCPM4のフラッグシップモデルで、80億のパラメータを持ち、8兆トークンで訓練されています。
• MiniCPM4-0.5B: MiniCPM4の小型版で、0.5億のパラメータを持ち、1兆トークンで訓練されています。
• MiniCPM4-8B-Eagle-FRSpec: FRSpec用のEagleヘッドで、MiniCPM4-8Bの推論を高速化します。
• MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu: QATで訓練されたFRSpec用のEagleヘッドで、推測と量子化を効率的に統合し、MiniCPM4-8Bの超高速化を実現します。
• MiniCPM4-8B-Eagle-vLLM: vLLM形式のEagleヘッドで、MiniCPM4-8Bの推論を高速化します。
• MiniCPM4-8B-marlin-Eagle-vLLM: vLLM形式の量子化されたEagleヘッドで、MiniCPM4-8Bの推論を高速化します。
• BitCPM4-0.5B: MiniCPM4-0.5Bに極限の三値量子化を適用し、モデルパラメータを三値に圧縮し、ビット幅を90％削減します。
• BitCPM4-1B: MiniCPM3-1Bに極限の三値量子化を適用し、モデルパラメータを三値に圧縮し、ビット幅を90％削減します。
• MiniCPM4-Survey: MiniCPM4-8Bをベースに、ユーザーの質問を入力として受け取り、信頼性の高い長文の調査論文を自動生成します。
• MiniCPM4-MCP: MiniCPM4-8Bをベースに、ユーザーの質問と利用可能なMCPツールを入力として受け取り、関連するMCPツールを自動的に呼び出してユーザーの要求を満たします。
• MiniCPM4-8B-GGUF: MiniCPM4-8BのGGUFバージョンです。 (<-- ここにいます)

📚 ドキュメント

MiniCPM 4は、モデルアーキテクチャ、学習アルゴリズム、訓練データ、推論システムの4つの次元で効率的な最適化を行った、非常に効率的なエッジサイドの大規模モデルです。

• 高効率なモデルアーキテクチャ:

  • InfLLM v2 -- 訓練可能な疎注意力機構: 訓練可能な疎注意力機構のアーキテクチャを採用しており、128Kの長文処理では各トークンが5％未満のトークンとの関連性を計算するだけで済み、長文の計算オーバーヘッドを大幅に削減します。

• 高効率な学習アルゴリズム:

  • モデルウィンドトンネル2.0 -- 効率的な予測可能なスケーリング: 下流タスクのパフォーマンスに対するスケーリング予測方法を導入し、より正確なモデル訓練構成の探索を可能にします。
  • BitCPM -- 極限の三値量子化: モデルパラメータのビット幅を3値に圧縮し、90％の極限のモデルビット幅削減を実現します。
  • 効率的な訓練エンジニアリング最適化: FP8低精度計算技術とマルチトークン予測訓練戦略を組み合わせて採用しています。

• 高品質な訓練データ:

  • UltraClean -- 高品質な事前訓練データのフィルタリングと生成: 効率的なデータ検証に基づく反復的なデータクリーニング戦略を構築し、高品質な中英語の事前訓練データセット UltraFinweb をオープンソース化しています。
  • UltraChat v2 -- 高品質な教師付き微調整データの生成: 知識集中型データ、推論集中型データ、命令追従型データ、長文理解データ、ツール呼び出しデータなど、複数の次元をカバーする大規模な高品質な教師付き微調整データセットを構築しています。

• 高効率な推論システム:

  • CPM.cu -- 軽量で高効率なCUDA推論フレームワーク: 疎注意力、モデル量子化、推測サンプリングを統合して、効率的な事前埋め込みとデコードを実現します。
  • ArkInfer -- クロスプラットフォームデプロイメントシステム: 複数のバックエンド環境での効率的なデプロイをサポートし、柔軟なクロスプラットフォーム適応能力を提供します。

💻 使用例

llama.cpp での推論

./llama-cli -c 1024 -m MiniCPM4-8B-Q4_K_M.gguf -n 1024 --top-p 0.7 --temp 0.7 --prompt "<|im_start|>user\n请写一篇关于人工智能的文章，详细介绍人工智能的未来发展和隐患。<|im_end|>\n<|im_start|>assistant\n"

声明

• 言語モデルとして、MiniCPMは大量のテキストを学習することでコンテンツを生成します。
• ただし、MiniCPMは理解能力や個人的な意見や価値判断を表現する能力を持っていません。
• MiniCPMによって生成されたコンテンツは、モデル開発者の見解や立場を表すものではありません。
• したがって、MiniCPMによって生成されたコンテンツを使用する際には、ユーザー自身が十分に評価し、検証する責任を負う必要があります。

📄 ライセンス

• このリポジトリとMiniCPMモデルは、Apache-2.0 ライセンスの下で公開されています。

引用

• 私たちの研究が役に立った場合は、論文を引用してください。

@article{minicpm4,
  title={{MiniCPM4}: Ultra-Efficient LLMs on End Devices},
  author={MiniCPM Team},
  year={2025}
}