Acereason Nemotron 7B GGUF

🚀 QuantFactory/AceReason-Nemotron-7B-GGUF

这是使用llama.cpp创建的nvidia/AceReason-Nemotron-7B的量化版本。

🚀 快速开始

本项目提供了一个数学和代码推理模型AceReason-Nemotron-7B，它基于强化学习（RL）进行训练，从DeepSeek-R1-Distilled-Qwen-7B开始，在多个基准测试中取得了显著的成果。以下是使用该模型的基本步骤和相关信息。

✨ 主要特性

• 强化学习训练：AceReason-Nemotron-7B完全通过强化学习进行训练，从DeepSeek-R1-Distilled-Qwen-7B模型开始，展现出强大的推理能力。
• 优异的性能表现：在多个基准测试中取得了令人瞩目的成绩，如在AIME 2024中达到69.0%（提升14.5%），在AIME 2025中达到53.6%（提升17.4%），在LiveCodeBench v5中达到51.8%（提升8%），在LiveCodeBench v6中达到44.1%（提升7%）。
• 有效训练方法：提出了一种简单而有效的训练方法，即先对仅含数学的提示进行强化学习训练，然后对仅含代码的提示进行强化学习训练。研究发现，仅数学的强化学习不仅能显著提高强大蒸馏模型在数学基准测试中的性能，还能提升代码推理任务的表现；而扩展的仅代码强化学习在进一步提高代码基准测试性能的同时，对数学结果的影响最小。

📦 安装指南

文档未提及具体安装步骤，故跳过此章节。

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = 'nvidia/AceReason-Nemotron-7B'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

prompt = "Jen enters a lottery by picking $4$ distinct numbers from $S=\\{1,2,3,\\cdots,9,10\\}.$ $4$ numbers are randomly chosen from $S.$ She wins a prize if at least two of her numbers were $2$ of the randomly chosen numbers, and wins the grand prize if all four of her numbers were the randomly chosen numbers. The probability of her winning the grand prize given that she won a prize is $\\tfrac{m}{n}$ where $m$ and $n$ are relatively prime positive integers. Find $m+n$."
messages = [{"role": "user", "content": prompt}]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda")

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768,
    temperature=0.6,
    top_p=0.95
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

📚 详细文档

最新消息

• 2025年6月11日：我们在AceReason评估中分享了评估工具包，包括：
  • 运行推理和评分的脚本
  • LiveCodeBench（平均@8）：每个月（2023/5 - 2025/5）的模型预测文件和分数
  • AIME24/25（平均@64）：模型预测文件和分数
• 2025年6月2日：我们很高兴在AceReason-Math分享我们的数学强化学习训练数据集。

评估结果

我们在AIME 2024、AIME 2025、LiveCodeBench v5（2024/08/01 - 2025/02/01）和LiveCodeBench v6（2025/02/01 - 2025/05/01）上，将我们的模型与Qwen2.5和Llama3.1模型家族中规模相当的竞争推理模型进行了评估。更多评估结果可在我们的技术报告中找到。

使用建议

1. 不要包含系统提示，而是将所有指令直接放在用户提示中。
2. 对于数学问题，建议使用以下指令：请逐步推理，并将最终答案放在\boxed{}内。
3. 对于代码问题，建议使用以下指令：

question = "" # 代码问题
starter_code = "" # 起始代码函数头

code_instruction_nostartercode = """编写Python代码来解决问题。请将解决方案代码放在以下格式中：
```python
# 你的解决方案代码在这里
```"""
code_instruction_hasstartercode = """请将解决方案代码放在以下格式中：
```python
# 你的解决方案代码在这里
```"""
if starter_code != "":
    question += "\n\n" + "从提供的函数头开始解决问题。\n\n函数头：\n" + "```\n" + starter_code + "\n```"
    question += "\n\n" + code_instruction_hasstartercode
else:
    question += "\n\n" + code_instruction_nostartercode

final_prompt = "<｜User｜>" + question + "<｜Assistant｜><think>\n"

4. 我们用于评估的推理引擎是vLLM==0.7.3，使用top - p = 0.95，temperature = 0.6，max_tokens = 32768。

评估工具包

请查看评估代码、脚本和缓存的预测文件。

联系方式

• Yang Chen (yachen@nvidia.com)
• Zhuolin Yang (zhuoliny@nvidia.com)
• Zihan Liu (zihanl@nvidia.com)
• Chankyu Lee (chankyul@nvidia.com)
• Wei Ping (wping@nvidia.com)

🔧 技术细节

文档未提及具体技术实现细节，故跳过此章节。

📄 许可证

你使用此模型受NVIDIA开放模型许可证的约束。

引用

@article{chen2025acereason,
  title={AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning},
  author={Chen, Yang and Yang, Zhuolin and Liu, Zihan and Lee, Chankyu and Xu, Peng and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint arXiv:2505.16400},
  year={2025}
}