Openmath Nemotron 7B

🚀 OpenMath-Nemotron-7B

OpenMath-Nemotron-7B 是通過在 OpenMathReasoning 數據集上對 Qwen/Qwen2.5-Math-7B 進行微調而創建的。該模型可用於商業用途。

OpenMath-Nemotron 系列模型在流行的數學基準測試中取得了最先進的成果。我們以 pass@1 (maj@64) 形式展示指標，其中 pass@1 是 64 次生成的平均準確率，maj@64 是多數投票的結果。有關評估設置的更多詳細信息，請參閱我們的 論文。

我們使用 OpenMath-Nemotron-14B 的一個版本 模型在 AIMO-2 Kaggle 競賽 中獲得了第一名！

🚀 快速開始

復現結果

我們用於生成數據和模型的管道已完全開源！

• 代碼
• 模型
• 數據集
• 論文

我們提供了 所有說明 來完全復現我們的結果，包括數據生成。

模型使用方法

我們的模型可以在 3 種推理模式下使用：思維鏈 (CoT)、工具集成推理 (TIR) 和生成式解決方案選擇 (GenSelect)。

💻 使用示例

基礎用法

import transformers
import torch

model_id = "nvidia/OpenMath-Nemotron-7B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {
        "role": "user", 
        "content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n\n" + 
        "What is the minimum value of $a^2+6a-7$?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])

對於 TIR 或 GenSelect 模式的推理，我們強烈建議使用我們在 NeMo-Skills 中的參考實現。

⚠️ 重要提示

請注意，這些模型未在通用數據上進行指令微調，因此在數學領域之外可能無法提供良好的答案。

📚 詳細文檔

引用

如果您覺得我們的工作有用，請考慮引用我們！

@article{moshkov2025aimo2,
  title   = {AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset},
  author  = {Ivan Moshkov and Darragh Hanley and Ivan Sorokin and Shubham Toshniwal and Christof Henkel and Benedikt Schifferer and Wei Du and Igor Gitman},
  year    = {2025},
  journal = {arXiv preprint arXiv:2504.16891}
}

附加信息

倫理考量

NVIDIA 認為可信 AI 是一項共同責任，我們已經制定了政策和實踐，以支持廣泛的 AI 應用開發。當按照我們的服務條款下載或使用時，開發者應與他們的內部模型團隊合作，確保該模型滿足相關行業和使用場景的要求，並解決意外的產品濫用問題。

有關此模型倫理考量的更多詳細信息，請參閱模型卡片++ 可解釋性、偏差、安全與保障 和 隱私 子卡片。

請在此 處 報告安全漏洞或 NVIDIA AI 相關問題。