🚀 Kimi K2 - 最新の混合専門家（MoE）言語モデル
Kimi K2は、320億の活性化パラメータと1兆の総パラメータを持つ最先端の混合専門家（MoE）言語モデルです。最新の技術を用いて訓練され、最先端の知識、推論、コーディングタスクなどで卓越した性能を発揮します。
⚠️ 重要提示
このモデルにはチャットテンプレートの修正が含まれています！ llama.cppを使用する場合は、--jinjaを指定してください。
Unsloth Dynamic 2.0は、他の主要な量子化手法を上回る高精度を達成しています。
📰 Tech Blog | 📄 Paper Link (comming soon)
🚀 クイックスタート
Kimi K2を使って、最先端の言語処理タスクを実行できます。以下のセクションでは、モデルの概要、特徴、評価結果などを紹介します。
✨ 主な機能
主要な特徴
- 大規模訓練：15.5兆トークンで1兆パラメータのMoEモデルを事前訓練し、訓練の不安定性をゼロに抑えました。
- MuonClipオプティマイザ：Muonオプティマイザを前例のない規模で適用し、拡張時の不安定性を解消するための新しい最適化手法を開発しました。
- エージェント型知能：ツールの使用、推論、自律的な問題解決に特化して設計されています。
モデルのバリエーション
- Kimi-K2-Base：研究者や開発者が微調整やカスタムソリューションを完全にコントロールしたい場合の基礎モデルです。
- Kimi-K2-Instruct：一般的なチャットやエージェント型のエクスペリエンスに最適な事後訓練モデルです。長時間の思考なしで即座に応答するリフレックスグレードのモデルです。
📚 ドキュメント
モデルの概要
| 属性 |
详情 |
| モデルタイプ |
混合専門家（MoE） |
| 総パラメータ数 |
1兆 |
| 活性化パラメータ数 |
320億 |
| レイヤー数（密結合レイヤーを含む） |
61 |
| 密結合レイヤー数 |
1 |
| アテンション隠れ次元 |
7168 |
| MoE隠れ次元（エキスパートごと） |
2048 |
| アテンションヘッド数 |
64 |
| エキスパート数 |
384 |
| トークンごとに選択されるエキスパート数 |
8 |
| 共有エキスパート数 |
1 |
| 語彙サイズ |
160K |
| コンテキスト長 |
128K |
| アテンションメカニズム |
MLA |
| 活性化関数 |
SwiGLU |
評価結果
命令モデルの評価結果
| ベンチマーク |
指標 |
Kimi K2 Instruct |
DeepSeek-V3-0324 |
Qwen3-235B-A22B
(非思考型) |
Claude Sonnet 4
(拡張思考なし) |
Claude Opus 4
(拡張思考なし) |
GPT-4.1 |
Gemini 2.5 Flash
Preview (05-20) |
| コーディングタスク |
LiveCodeBench v6
(24年8月 - 25年5月) |
Pass@1 |
53.7 |
46.9 |
37.0 |
48.5 |
47.4 |
44.7 |
44.7 |
| OJBench |
Pass@1 |
27.1 |
24.0 |
11.3 |
15.3 |
19.6 |
19.5 |
19.5 |
| MultiPL-E |
Pass@1 |
85.7 |
83.1 |
78.2 |
88.6 |
89.6 |
86.7 |
85.6 |
SWE-bench Verified
(エージェントレスコーディング) |
単一パッチ無テスト (Acc) |
51.8 |
36.6 |
39.4 |
50.2 |
53.0 |
40.8 |
32.6 |
SWE-bench Verified
(エージェント型コーディング) |
単一試行 (Acc) |
65.8 |
38.8 |
34.4 |
72.7* |
72.5* |
54.6 |
— |
| 複数試行 (Acc) |
71.6 |
— |
— |
80.2 |
79.4* |
— |
— |
SWE-bench Multilingual
(エージェント型コーディング) |
単一試行 (Acc) |
47.3 |
25.8 |
20.9 |
51.0 |
— |
31.5 |
— |
| TerminalBench |
社内フレームワーク (Acc) |
30.0 |
— |
— |
35.5 |
43.2 |
8.3 |
— |
| Terminus (Acc) |
25.0 |
16.3 |
6.6 |
— |
— |
30.3 |
16.8 |
| Aider-Polyglot |
Acc |
60.0 |
55.1 |
61.8 |
56.4 |
70.7 |
52.4 |
44.0 |
| ツール使用タスク |
| Tau2 retail |
Avg@4 |
70.6 |
69.1 |
57.0 |
75.0 |
81.8 |
74.8 |
64.3 |
| Tau2 airline |
Avg@4 |
56.5 |
39.0 |
26.5 |
55.5 |
60.0 |
54.5 |
42.5 |
| Tau2 telecom |
Avg@4 |
65.8 |
32.5 |
22.1 |
45.2 |
57.0 |
38.6 |
16.9 |
| AceBench |
Acc |
76.5 |
72.7 |
70.5 |
76.2 |
75.6 |
80.1 |
74.5 |
| 数学とSTEMタスク |
| AIME 2024 |
Avg@64 |
69.6 |
59.4* |
40.1* |
43.4 |
48.2 |
46.5 |
61.3 |
| AIME 2025 |
Avg@64 |
49.5 |
46.7 |
24.7* |
33.1* |
33.9* |
37.0 |
46.6 |
| MATH-500 |
Acc |
97.4 |
94.0* |
91.2* |
94.0 |
94.4 |
92.4 |
95.4 |
| HMMT 2025 |
Avg@32 |
38.8 |
27.5 |
11.9 |
15.9 |
15.9 |
19.4 |
34.7 |
| CNMO 2024 |
Avg@16 |
74.3 |
74.7 |
48.6 |
60.4 |
57.6 |
56.6 |
75.0 |
| PolyMath-en |
Avg@4 |
65.1 |
59.5 |
51.9 |
52.8 |
49.8 |
54.0 |
49.9 |
| ZebraLogic |
Acc |
89.0 |
84.0 |
37.7* |
73.7 |
59.3 |
58.5 |
57.9 |
| AutoLogi |
Acc |
89.5 |
88.9 |
83.3 |
89.8 |
86.1 |
88.2 |
84.1 |
| GPQA-Diamond |
Avg@8 |
75.1 |
68.4* |
62.9* |
70.0* |
74.9* |
66.3 |
68.2 |
| SuperGPQA |
Acc |
57.2 |
53.7 |
50.2 |
55.7 |
56.5 |
50.8 |
49.6 |
Humanity's Last Exam
(テキストのみ) |
- |
4.7 |
5.2 |
5.7 |
5.8 |
7.1 |
3.7 |
5.6 |
| 一般的なタスク |
| MMLU |
EM |
89.5 |
89.4 |
87.0 |
91.5 |
92.9 |
90.4 |
90.1 |
| MMLU-Redux |
EM |
92.7 |
90.5 |
89.2 |
93.6 |
94.2 |
92.4 |
90.6 |
| MMLU-Pro |
EM |
81.1 |
81.2* |
77.3 |
83.7 |
86.6 |
81.8 |
79.4 |
| IFEval |
Prompt Strict |
89.8 |
81.1 |
83.2* |
87.6 |
87.4 |
88.0 |
84.3 |
| Multi-Challenge |
Acc |
54.1 |
31.4 |
34.0 |
46.8 |
49.0 |
36.4 |
39.5 |
| SimpleQA |
正解率 |
31.0 |
27.7 |
13.2 |
15.9 |
22.8 |
42.3 |
23.3 |
| Livebench |
Pass@1 |
76.4 |
72.4 |
67.6 |
74.8 |
74.6 |
69.8 |
67.8 |
• 太字はグローバルなSOTAを示し、下線付きはオープンソースのSOTAを示します。
• * でマークされたデータポイントは、モデルの技術レポートまたはブログから直接取得されています。
• SWE-bench Verified (エージェントレス) を除くすべての指標は、8kの出力トークン長で評価されています。SWE-bench Verified (エージェントレス) は、16kの出力トークン長に制限されています。
• Kimi K2は、bash/エディタツールを使用したSWE-bench Verifiedテストで65.8%のPass@1を達成しています（単一試行パッチ、テスト時の計算なし）。同じ条件下で、SWE-bench Multilingualテストで47.3%のPass@1を達成しています。さらに、内部スコアリングモデルを使用して複数のシーケンスをサンプリングし、単一の最適解を選択することで、並列テスト時の計算を活用したSWE-bench Verifiedテストで71.6%の結果を報告しています。
• 評価の安定性を確保するために、AIME、HMMT、CNMO、PolyMath-en、GPQA-Diamond、EvalPlus、Tau2でavg@kを採用しています。
• 一部のデータポイントは、評価コストが高すぎるため省略されています。
ベースモデルの評価結果
| ベンチマーク |
指標 |
ショット数 |
Kimi K2 Base |
Deepseek-V3-Base |
Qwen2.5-72B |
Llama 4 Maverick |
| 一般的なタスク |
| MMLU |
EM |
5-shot |
87.8 |
87.1 |
86.1 |
84.9 |
| MMLU-pro |
EM |
5-shot |
69.2 |
60.6 |
62.8 |
63.5 |
| MMLU-redux-2.0 |
EM |
5-shot |
90.2 |
89.5 |
87.8 |
88.2 |
| SimpleQA |
正解率 |
5-shot |
35.3 |
26.5 |
10.3 |
23.7 |
| TriviaQA |
EM |
5-shot |
85.1 |
84.1 |
76.0 |
79.3 |
| GPQA-Diamond |
Avg@8 |
5-shot |
48.1 |
50.5 |
40.8 |
49.4 |
| SuperGPQA |
EM |
5-shot |
44.7 |
39.2 |
34.2 |
38.8 |
| コーディングタスク |
| LiveCodeBench v6 |
Pass@1 |
1-shot |
26.3 |
22.9 |
21.1 |
25.1 |
| EvalPlus |
Pass@1 |
- |
80.3 |
6
|
📄 ライセンス
このモデルは、Modified MITライセンスの下で提供されています。詳細については、ライセンスファイルを参照してください。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応