Openmath Nemotron 32B

🚀 OpenMath-Nemotron-32B

OpenMath-Nemotron-32B 是通过在 OpenMathReasoning 数据集上微调 Qwen/Qwen2.5-32B 而创建的。该模型可用于商业用途。

OpenMath-Nemotron 系列模型在流行的数学基准测试中取得了最先进的成果。我们以 pass@1 (maj@64) 形式展示指标，其中 pass@1 是 64 次生成的平均准确率，maj@64 是多数投票的结果。有关评估设置的更多详细信息，请参阅我们的 论文。

我们使用 OpenMath-Nemotron-14B 的一个版本 模型在 AIMO-2 Kaggle 竞赛 中获得了第一名！

🚀 快速开始

复现结果

我们用于生成数据和模型的管道已完全开源！

• 代码
• 模型
• 数据集
• 论文

我们提供了 所有说明 来完全复现我们的结果，包括数据生成。

模型使用方法

我们的模型可以在 3 种推理模式下使用：思维链 (CoT)、工具集成推理 (TIR) 和生成式解决方案选择 (GenSelect)。

💻 使用示例

基础用法

要在 CoT 模式下运行推理，你可以使用以下示例代码片段。

import transformers
import torch

model_id = "nvidia/OpenMath-Nemotron-32B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {
        "role": "user", 
        "content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n\n" + 
        "What is the minimum value of $a^2+6a-7$?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])

要在 TIR 或 GenSelect 模式下运行推理，我们强烈建议使用我们在 NeMo-Skills 中的参考实现。

请注意，这些模型尚未在通用数据上进行指令微调，因此在数学领域之外可能无法提供良好的答案。

📚 详细文档

引用

如果你觉得我们的工作有用，请考虑引用我们！

@article{moshkov2025aimo2,
  title   = {AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset},
  author  = {Ivan Moshkov and Darragh Hanley and Ivan Sorokin and Shubham Toshniwal and Christof Henkel and Benedikt Schifferer and Wei Du and Igor Gitman},
  year    = {2025},
  journal = {arXiv preprint arXiv:2504.16891}
}

额外信息

伦理考虑

NVIDIA 认为可信 AI 是一项共同责任，我们已经制定了政策和实践，以支持广泛的 AI 应用开发。当按照我们的服务条款下载或使用时，开发者应与他们的内部模型团队合作，确保该模型满足相关行业和使用场景的要求，并解决不可预见的产品滥用问题。

有关此模型伦理考虑的更多详细信息，请参阅模型卡片++ 可解释性、偏差、安全与保障 和 隐私 子卡片。

请 在此 报告安全漏洞或 NVIDIA AI 相关问题。