Acereason Nemotron 14B GGUF

🚀 QuantFactory/AceReason-Nemotron-14B-GGUF

这是使用llama.cpp创建的nvidia/AceReason-Nemotron-14B的量化版本，可用于文本生成。

🚀 快速开始

本项目是基于llama.cpp对原始模型进行量化处理得到的版本，可用于文本生成任务。下面将为你介绍模型的相关信息、使用方法等内容。

✨ 主要特性

• 强化学习训练：AceReason-Nemotron-14B是一个完全通过强化学习（RL）训练的数学和代码推理模型，从DeepSeek-R1-Distilled-Qwen-14B开始训练，在多个数学和代码推理基准测试中取得了出色的成绩。
• 系统性研究：通过广泛的消融实验系统地研究了RL训练过程，并提出了一种简单而有效的方法：先在仅含数学的提示上进行RL训练，然后在仅含代码的提示上进行RL训练。
• 性能提升：研究发现，仅含数学的RL不仅显著提高了强蒸馏模型在数学基准测试上的性能，还提升了代码推理任务的性能；扩展的仅含代码的RL进一步提高了代码基准测试的性能，同时对数学结果的影响极小。

📦 安装指南

文档未提及具体安装步骤，故跳过。

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = 'nvidia/AceReason-Nemotron-14B'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

prompt = "Jen enters a lottery by picking $4$ distinct numbers from $S=\\{1,2,3,\\cdots,9,10\\}.$ $4$ numbers are randomly chosen from $S.$ She wins a prize if at least two of her numbers were $2$ of the randomly chosen numbers, and wins the grand prize if all four of her numbers were the randomly chosen numbers. The probability of her winning the grand prize given that she won a prize is $\\tfrac{m}{n}$ where $m$ and $n$ are relatively prime positive integers. Find $m+n$."
messages = [{"role": "user", "content": prompt}]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda")

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768,
    temperature=0.6,
    top_p=0.95
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

高级用法

# 以下是针对不同类型问题的使用建议代码
# 1. 数学问题建议：不包含系统提示，将所有指令直接放在用户提示中，并使用特定格式要求答案
# 2. 代码问题建议：根据是否有起始代码，构建不同的提示信息

# 数学问题指令
math_instruction = "Please reason step by step, and put your final answer within \\boxed{}."

# 代码问题指令
question = "" # code question
starter_code = "" # starter code function header

code_instruction_nostartercode = """Write Python code to solve the problem. Please place the solution code in the following format:\n```python\n# Your solution code here\n```"""
code_instruction_hasstartercode = """Please place the solution code in the following format:\n```python\n# Your solution code here\n```"""
if starter_code != "":
    question += "\n\n" + "Solve the problem starting with the provided function header.\n\nFunction header:\n" + "```\n" + starter_code + "\n```"
    question += "\n\n" + code_instruction_hasstartercode
else:
    question += "\n\n" + code_instruction_nostartercode

final_prompt = "<｜User｜>" + question + "<｜Assistant｜><think>\n"

# 推理引擎配置
# 我们用于评估的推理引擎是 **vLLM==0.7.3**，使用 top-p=0.95，temperature=0.6，max_tokens=32768

📚 详细文档

最新消息

• 2025年6月11日：我们在AceReason评估中分享了评估工具包，包括：
  • 运行推理和评分的脚本
  • LiveCodeBench (avg@8)：每个月（2023/5 - 2025/5）的模型预测文件和分数
  • AIME24/25 (avg@64)：模型预测文件和分数
• 2025年6月2日：我们很高兴在AceReason-Math上分享我们的数学强化学习训练数据集。

评估结果

我们在AIME 2024、AIME 2025、LiveCodeBench v5（2024/08/01 - 2025/02/01）和LiveCodeBench v6（2025/02/01 - 2025/05/01）上，将我们的模型与Qwen2.5和Llama3.1模型家族中可比大小的竞争推理模型进行了评估。更多评估结果可在我们的技术报告中找到。

评估工具包

请查看https://huggingface.co/nvidia/AceReason-Nemotron-14B/blob/main/README_EVALUATION.md 中的评估代码、脚本和缓存的预测文件。

联系方式

• Yang Chen (yachen@nvidia.com)
• Zhuolin Yang (zhuoliny@nvidia.com)
• Zihan Liu (zihanl@nvidia.com)
• Chankyu Lee (chankyul@nvidia.com)
• Wei Ping (wping@nvidia.com)

🔧 技术细节

文档未提供具体技术实现细节，故跳过。

📄 许可证

你对该模型的使用受NVIDIA开放模型许可证的约束。

📚 引用

@article{chen2025acereason,
  title={AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning},
  author={Chen, Yang and Yang, Zhuolin and Liu, Zihan and Lee, Chankyu and Xu, Peng and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint arXiv:2505.16400},
  year={2025}
}

💡 使用建议

1. 不包含系统提示，将所有指令直接放在用户提示中。
2. 对于数学问题，建议使用以下指令：请逐步推理，并将最终答案放在\boxed{}内。
3. 对于代码问题，根据是否有起始代码，构建不同的提示信息。
4. 我们用于评估的推理引擎是 vLLM==0.7.3，使用 top-p=0.95，temperature=0.6，max_tokens=32768。