Openmath Nemotron 14B

🚀 OpenMath-Nemotron-14B

OpenMath-Nemotron-14Bは、Qwen/Qwen2.5-14BをOpenMathReasoningデータセットでファインチューニングすることで作成されました。このモデルは商用利用が可能です。

OpenMath-Nemotronモデルは、人気のある数学的ベンチマークで最先端の結果を達成しています。評価指標としてpass@1 (maj@64) を提示しています。ここで、pass@1は64回の生成にわたる平均精度で、maj@64は多数決の結果です。評価設定の詳細については、論文を参照してください。

私たちは、OpenMath-Nemotron-14Bのバージョンを使用して、AIMO-2 Kaggleコンペティションで一位を獲得しました！

🚀 クイックスタート

結果の再現

私たちがデータとモデルを生成するために使用したパイプラインは完全にオープンソース化されています！

• コード
• モデル
• データセット
• 論文

私たちは、データ生成を含むすべての結果を完全に再現するためのすべての手順を提供しています。

モデルの使用方法

私たちのモデルは、3つの推論モードで使用できます。すなわち、連鎖思考 (CoT)、ツール統合推論 (TIR)、および生成的解選択 (GenSelect) です。

💻 使用例

基本的な使用法

import transformers
import torch

model_id = "nvidia/OpenMath-Nemotron-14B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {
        "role": "user", 
        "content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n\n" + 
        "What is the minimum value of $a^2+6a-7$?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])

TIRまたはGenSelectモードで推論を実行する場合は、NeMo-Skillsのリファレンス実装を使用することを強くおすすめします。

なお、これらのモデルは一般的なデータで命令調整されていないため、数学の領域以外では良い回答を提供しない可能性があります。

📚 詳細ドキュメント

引用

もし私たちの研究が役に立った場合は、引用を検討してください！

@article{moshkov2025aimo2,
  title   = {AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset},
  author  = {Ivan Moshkov and Darragh Hanley and Ivan Sorokin and Shubham Toshniwal and Christof Henkel and Benedikt Schifferer and Wei Du and Igor Gitman},
  year    = {2025},
  journal = {arXiv preprint arXiv:2504.16891}
}

追加情報

倫理的な考慮事項

NVIDIAは、信頼できるAIは共同責任であると考えており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。サービス利用規約に従ってダウンロードまたは使用する場合、開発者は内部のモデルチームと協力して、このモデルが関連する業界と使用ケースの要件を満たし、予期しない製品の誤用に対処するようにする必要があります。

このモデルの倫理的な考慮事項の詳細については、モデルカード++の説明可能性、バイアス、安全性とセキュリティ、およびプライバシーのサブカードを参照してください。

セキュリティの脆弱性またはNVIDIA AIに関する懸念事項は、こちらから報告してください。

📄 ライセンス

このモデルの使用は、CC-BY-4.0に基づいています。追加情報: Apache License Version 2.0。