Openmath Nemotron 7B

🚀 OpenMath-Nemotron-7B

OpenMath-Nemotron-7Bは、Qwen/Qwen2.5-Math-7B を OpenMathReasoning データセットでファインチューニングすることで作成されました。このモデルは商用利用が可能です。

OpenMath-Nemotronモデルは、人気のある数学的ベンチマークで最先端の結果を達成しています。評価指標として、pass@1 (maj@64) を提示しています。ここで、pass@1は64回の生成にわたる平均精度で、maj@64は多数決の結果です。評価設定の詳細については、論文 を参照してください。

私たちは OpenMath-Nemotron-14Bのバージョン を使用して、AIMO-2 Kaggleコンペティション で1位を獲得しました！

✨ 主な機能

• 商用利用可能な数学モデルです。
• 人気の数学的ベンチマークで最先端の結果を達成しています。
• 複数の推論モード（CoT、TIR、GenSelect）をサポートしています。

📚 ドキュメント

結果の再現

データとモデルを生成するために使用したパイプラインは完全にオープンソース化されています！

• コード
• モデル
• データセット
• 論文

データ生成を含むすべての結果を完全に再現するための すべての手順 を提供しています。

💻 使用例

基本的な使用法

モデルをCoTモードで推論するには、以下のコードスニペットを使用できます。

import transformers
import torch

model_id = "nvidia/OpenMath-Nemotron-7B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {
        "role": "user", 
        "content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n\n" + 
        "What is the minimum value of $a^2+6a-7$?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])

高度な使用法

TIRまたはGenSelectモードで推論を実行する場合は、NeMo-Skillsのリファレンス実装 の使用を強くおすすめします。

なお、これらのモデルは一般的なデータで命令調整されていないため、数学の領域以外では良い回答を提供しない可能性があります。

📄 ライセンス

ライセンス/利用規約

このモデルの使用は CC-BY-4.0 によって管理されています。追加情報については、Apache License Version 2.0 を参照してください。

展開地域

グローバル

ユースケース

このモデルは、数学的推論の分野での研究を促進することを目的としています。

リリース日

Huggingface 2025年4月23日

モデルアーキテクチャ

入力

出力

私たちのAIモデルは、NVIDIA GPUアクセラレートシステムでの実行を設計および/または最適化されています。NVIDIAのハードウェア（GPUコアなど）とソフトウェアフレームワーク（CUDAライブラリなど）を活用することで、CPUのみのソリューションと比較して、高速なトレーニングと推論時間を実現しています。

ソフトウェア統合

モデルバージョン

• OpenMath-Nemotron-1.5B
• OpenMath-Nemotron-7B
• OpenMath-Nemotron-14B
• OpenMath-Nemotron-32B

倫理的な考慮事項

NVIDIAは、信頼できるAIは共有の責任であると考えており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。サービス利用規約に従ってダウンロードまたは使用する場合、開発者は内部のモデルチームと協力して、このモデルが関連する業界やユースケースの要件を満たし、予期しない製品の誤用に対応することを確認する必要があります。

このモデルの倫理的な考慮事項の詳細については、モデルカード++の 説明可能性、バイアス、安全性とセキュリティ、および プライバシー のサブカードを参照してください。

セキュリティの脆弱性またはNVIDIA AIに関する懸念事項は、こちら から報告してください。

引用

もし私たちの研究が役に立った場合は、引用を検討してください！

@article{moshkov2025aimo2,
  title   = {AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset},
  author  = {Ivan Moshkov and Darragh Hanley and Ivan Sorokin and Shubham Toshniwal and Christof Henkel and Benedikt Schifferer and Wei Du and Igor Gitman},
  year    = {2025},
  journal = {arXiv preprint arXiv:2504.16891}
}