🚀 OpenMath-Nemotron-14B-Kaggle
OpenMath-Nemotron-14B-Kaggleは、OpenMathReasoningデータセットのサブセットでQwen/Qwen2.5-14Bをファインチューニングすることで作成されました。
このモデルは、AIMO-2 Kaggleコンペティションへの初回提出で1位に入賞するために使用されました！
OpenMath-Nemotronモデルは、一般的な数学ベンチマークで最先端の結果を達成しています。私たちは、pass@1 (maj@64) としてメトリクスを提示しています。ここで、pass@1は64回の生成にわたる平均精度で、maj@64は多数決の結果です。
評価設定の詳細については、論文を参照してください。
| モデル |
AIME24 |
AIME25 |
HMMT-24-25 |
HLE-Math |
| DeepSeek-R1-Distill-Qwen-1.5B |
26.8 (60.0) |
21.4 (36.7) |
14.2 (26.5) |
2.9 (5.0) |
| OpenMath-Nemotron-1.5B CoT |
61.6 (80.0) |
49.5 (66.7) |
39.9 (53.6) |
5.4 (5.4) |
| OpenMath-Nemotron-1.5B TIR |
52.0 (83.3) |
39.7 (70.0) |
37.2 (60.7) |
2.5 (6.2) |
| + Self GenSelect |
83.3 |
70.0 |
62.2 |
7.9 |
| + 32B GenSelect |
83.3 |
70.0 |
62.8 |
8.3 |
| DeepSeek-R1-Distill-Qwen-7B |
54.4 (80.0) |
38.6 (53.3) |
30.6 (42.9) |
3.3 (5.2) |
| OpenMath-Nemotron-7B CoT |
74.8 (80.0) |
61.2 (76.7) |
49.7 (57.7) |
6.6 (6.6) |
| OpenMath-Nemotron-7B TIR |
72.9 (83.3) |
57.5 (76.7) |
54.6 (66.3) |
7.8 (10.8) |
| + Self GenSelect |
86.7 |
76.7 |
68.4 |
11.5 |
| + 32B GenSelect |
86.7 |
76.7 |
69.9 |
11.9 |
| DeepSeek-R1-Distill-Qwen-14B |
65.8 (80.0) |
48.4 (60.0) |
40.1 (52.0) |
4.2 (4.8) |
| OpenMath-Nemotron-14B-MIX (kaggle) |
73.7 (86.7) |
57.9 (73.3) |
50.5 (64.8) |
5.7 (6.5) |
| OpenMath-Nemotron-14B CoT |
76.3 (83.3) |
63.0 (76.7) |
52.1 (60.7) |
7.5 (7.6) |
| OpenMath-Nemotron-14B TIR |
76.3 (86.7) |
61.3 (76.7) |
58.6 (70.9) |
9.5 (11.5) |
| + Self GenSelect |
86.7 |
76.7 |
72.4 |
14.1 |
| + 32B GenSelect |
90.0 |
76.7 |
71.9 |
13.7 |
| QwQ-32B |
78.1 (86.7) |
66.5 (76.7) |
55.9 (63.3) |
9.0 (9.5) |
| DeepSeek-R1-Distill-Qwen-32B |
66.9 (83.3) |
51.8 (73.3) |
39.9 (51.0) |
4.8 (6.0) |
| OpenMath-Nemotron-32B CoT |
76.5 (86.7) |
62.5 (73.3) |
53.0 (59.2) |
8.3 (8.3) |
| OpenMath-Nemotron-32B TIR |
78.4 (93.3) |
64.2 (76.7) |
59.7 (70.9) |
9.2 (12.5) |
| + Self GenSelect |
93.3 |
80.0 |
73.5 |
15.7 |
| DeepSeek-R1 |
79.1 (86.7) |
64.3 (73.3) |
53.0 (59.2) |
10.5 (11.4) |
🚀 クイックスタート
結果の再現
データとモデルを生成するために使用したパイプラインは完全にオープンソース化されています！
私たちは、データ生成を含むすべての結果を完全に再現するためのすべての手順を提供しています。
モデルの使用方法
このモデルは常にコード実行を使用して数学問題を解くため、NeMo-Skillsの参照実装で推論を実行することを強くお勧めします。
これらのモデルは一般的なデータで命令調整されていないため、数学の領域以外では良い回答を提供しない可能性があることに注意してください。
📚 ドキュメント
引用
私たちの研究が役に立った場合は、引用を検討してください！
@article{moshkov2025aimo2,
title = {AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset},
author = {Ivan Moshkov and Darragh Hanley and Ivan Sorokin and Shubham Toshniwal and Christof Henkel and Benedikt Schifferer and Wei Du and Igor Gitman},
year = {2025},
journal = {arXiv preprint arXiv:2504.16891}
}
追加情報
| 属性 |
详情 |
| ライセンス |
このモデルの使用は、CC-BY-4.0によって管理されます。追加情報: Apache License Version 2.0 |
| 展開地域 |
グローバル |
| ユースケース |
このモデルは、数学的推論の分野での研究を促進することを目的としています。 |
| リリース日 |
Huggingface 2025年4月23日 |
| モデルアーキテクチャ |
アーキテクチャタイプ: Transformerデコーダーのみの言語モデル
ネットワークアーキテクチャ: Qwen2.5
このモデルはQwen2.5-1.5Bをベースに開発されました。
このモデルは15億のモデルパラメータを持っています。 |
| 入力 |
入力タイプ: テキスト
入力形式: 文字列
入力パラメータ: 一次元 (1D)
入力に関連する他のプロパティ: 最大131,072トークンのコンテキスト長 |
| 出力 |
出力タイプ: テキスト
出力形式: 文字列
出力パラメータ: 一次元 (1D)
出力に関連する他のプロパティ: 最大131,072トークンのコンテキスト長 |
| ソフトウェア統合 |
ランタイムエンジン: Tensor RT / Triton
サポートされるハードウェアマイクロアーキテクチャ互換性: NVIDIA Ampere, NVIDIA Hopper
推奨オペレーティングシステム: Linux |
| モデルバージョン |
OpenMath-Nemotron-1.5B
OpenMath-Nemotron-7B
OpenMath-Nemotron-14B
OpenMath-Nemotron-32B |
倫理的考慮事項
NVIDIAは、信頼できるAIは共有の責任であると考えており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。サービス利用規約に従ってダウンロードまたは使用する場合、開発者は内部のモデルチームと協力して、このモデルが関連する業界とユースケースの要件を満たし、予期しない製品の誤用に対応するようにする必要があります。
このモデルの倫理的考慮事項の詳細については、モデルカード++の説明可能性、バイアス、安全性とセキュリティ、およびプライバシーのサブカードを参照してください。
セキュリティバグまたはNVIDIA AIに関する懸念事項は、こちらから報告してください。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応