Openmath Nemotron 32B

🚀 OpenMath-Nemotron-32B

OpenMath-Nemotron-32Bは、Qwen/Qwen2.5-32BをOpenMathReasoningデータセットでファインチューニングすることで作成されました。このモデルは商用利用が可能です。

OpenMath-Nemotronモデルは、一般的な数学ベンチマークで最先端の結果を達成しています。評価指標として、pass@1 (maj@64) を提示しています。ここで、pass@1は64回の生成にわたる平均精度であり、maj@64は多数決の結果です。評価設定の詳細については、論文を参照してください。

私たちは、OpenMath-Nemotron-14Bのバージョンを使用して、AIMO-2 Kaggleコンペティションで一位を獲得しました！

🚀 クイックスタート

結果の再現

私たちがデータとモデルを生成するために使用したパイプラインは完全にオープンソースです！

• コード
• モデル
• データセット
• 論文

私たちは、データ生成を含むすべての結果を完全に再現するためのすべての手順を提供しています。

モデルの使用方法

私たちのモデルは、3つの推論モードで使用できます。すなわち、連鎖思考 (CoT)、ツール統合推論 (TIR)、および生成的解選択 (GenSelect) です。

💻 使用例

基本的な使用法

CoTモードで推論を実行するには、次のコードスニペットを使用できます。

import transformers
import torch

model_id = "nvidia/OpenMath-Nemotron-32B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {
        "role": "user", 
        "content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n\n" + 
        "What is the minimum value of $a^2+6a-7$?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])

高度な使用法

TIRまたはGenSelectモードで推論を実行する場合は、NeMo-Skillsのリファレンス実装を使用することを強くおすすめします。

なお、これらのモデルは一般的なデータで命令調整されていないため、数学の領域以外では良い回答を提供できない場合があります。

📚 詳細ドキュメント

引用

もし私たちの研究が役に立った場合は、引用を検討してください！

@article{moshkov2025aimo2,
  title   = {AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset},
  author  = {Ivan Moshkov and Darragh Hanley and Ivan Sorokin and Shubham Toshniwal and Christof Henkel and Benedikt Schifferer and Wei Du and Igor Gitman},
  year    = {2025},
  journal = {arXiv preprint arXiv:2504.16891}
}

追加情報

ライセンス/利用規約

このモデルの使用は、CC-BY-4.0によって管理されます。追加情報は、Apache License Version 2.0を参照してください。

展開地域

グローバル

ユースケース

このモデルは、数学的推論の分野での研究を促進することを目的としています。

リリース日

Huggingface 04/23/2025

モデルアーキテクチャ

• アーキテクチャタイプ: Transformerデコーダーのみの言語モデル
• ネットワークアーキテクチャ: Qwen2.5

このモデルはQwen2.5-1.5Bをベースに開発されており、1.5Bのモデルパラメータを持っています。

入力

• 入力タイプ: テキスト
• 入力形式: 文字列
• 入力パラメータ: 一次元 (1D)
• 入力に関連するその他の特性: 最大131,072トークンのコンテキスト長

出力

• 出力タイプ: テキスト
• 出力形式: 文字列
• 出力パラメータ: 一次元 (1D)
• 出力に関連するその他の特性: 最大131,072トークンのコンテキスト長

私たちのAIモデルは、NVIDIA GPUアクセラレーションシステム上で実行するように設計および最適化されています。NVIDIAのハードウェア（例：GPUコア）とソフトウェアフレームワーク（例：CUDAライブラリ）を活用することで、CPUのみのソリューションと比較して、より高速なトレーニングと推論時間を達成しています。

ソフトウェア統合

• ランタイムエンジン:
  • Tensor RT / Triton
• サポートされるハードウェアマイクロアーキテクチャ互換性:
  • NVIDIA Ampere
  • NVIDIA Hopper
• 推奨オペレーティングシステム:
  • Linux

モデルバージョン

• OpenMath-Nemotron-1.5B
• OpenMath-Nemotron-7B
• OpenMath-Nemotron-14B
• OpenMath-Nemotron-32B

倫理的配慮

NVIDIAは、信頼できるAIは共同の責任であると考えており、幅広いAIアプリケーションの開発を可能にするポリシーと実践を確立しています。利用規約に従ってダウンロードまたは使用する場合、開発者は内部のモデルチームと協力して、このモデルが関連する業界とユースケースの要件を満たし、予期しない製品の誤用に対応することを確認する必要があります。

このモデルの倫理的配慮の詳細については、モデルカード++の説明可能性、バイアス、安全性とセキュリティ、およびプライバシーのサブカードを参照してください。

セキュリティバグまたはNVIDIA AIに関する懸念事項は、こちらから報告してください。

📄 ライセンス

このモデルの使用は、CC-BY-4.0によって管理されます。追加情報は、Apache License Version 2.0を参照してください。