Acereason Nemotron 14B GGUF

🚀 QuantFactory/AceReason-Nemotron-14B-GGUF

這是使用llama.cpp創建的nvidia/AceReason-Nemotron-14B的量化版本，可用於文本生成。

🚀 快速開始

本項目是基於llama.cpp對原始模型進行量化處理得到的版本，可用於文本生成任務。下面將為你介紹模型的相關信息、使用方法等內容。

✨ 主要特性

• 強化學習訓練：AceReason-Nemotron-14B是一個完全通過強化學習（RL）訓練的數學和代碼推理模型，從DeepSeek-R1-Distilled-Qwen-14B開始訓練，在多個數學和代碼推理基準測試中取得了出色的成績。
• 系統性研究：通過廣泛的消融實驗系統地研究了RL訓練過程，並提出了一種簡單而有效的方法：先在僅含數學的提示上進行RL訓練，然後在僅含代碼的提示上進行RL訓練。
• 性能提升：研究發現，僅含數學的RL不僅顯著提高了強蒸餾模型在數學基準測試上的性能，還提升了代碼推理任務的性能；擴展的僅含代碼的RL進一步提高了代碼基準測試的性能，同時對數學結果的影響極小。

📦 安裝指南

文檔未提及具體安裝步驟，故跳過。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = 'nvidia/AceReason-Nemotron-14B'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

prompt = "Jen enters a lottery by picking $4$ distinct numbers from $S=\\{1,2,3,\\cdots,9,10\\}.$ $4$ numbers are randomly chosen from $S.$ She wins a prize if at least two of her numbers were $2$ of the randomly chosen numbers, and wins the grand prize if all four of her numbers were the randomly chosen numbers. The probability of her winning the grand prize given that she won a prize is $\\tfrac{m}{n}$ where $m$ and $n$ are relatively prime positive integers. Find $m+n$."
messages = [{"role": "user", "content": prompt}]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda")

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768,
    temperature=0.6,
    top_p=0.95
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

高級用法

# 以下是針對不同類型問題的使用建議代碼
# 1. 數學問題建議：不包含系統提示，將所有指令直接放在用戶提示中，並使用特定格式要求答案
# 2. 代碼問題建議：根據是否有起始代碼，構建不同的提示信息

# 數學問題指令
math_instruction = "Please reason step by step, and put your final answer within \\boxed{}."

# 代碼問題指令
question = "" # code question
starter_code = "" # starter code function header

code_instruction_nostartercode = """Write Python code to solve the problem. Please place the solution code in the following format:\n```python\n# Your solution code here\n```"""
code_instruction_hasstartercode = """Please place the solution code in the following format:\n```python\n# Your solution code here\n```"""
if starter_code != "":
    question += "\n\n" + "Solve the problem starting with the provided function header.\n\nFunction header:\n" + "```\n" + starter_code + "\n```"
    question += "\n\n" + code_instruction_hasstartercode
else:
    question += "\n\n" + code_instruction_nostartercode

final_prompt = "<｜User｜>" + question + "<｜Assistant｜><think>\n"

# 推理引擎配置
# 我們用於評估的推理引擎是 **vLLM==0.7.3**，使用 top-p=0.95，temperature=0.6，max_tokens=32768

📚 詳細文檔

最新消息

• 2025年6月11日：我們在AceReason評估中分享了評估工具包，包括：
  • 運行推理和評分的腳本
  • LiveCodeBench (avg@8)：每個月（2023/5 - 2025/5）的模型預測文件和分數
  • AIME24/25 (avg@64)：模型預測文件和分數
• 2025年6月2日：我們很高興在AceReason-Math上分享我們的數學強化學習訓練數據集。

評估結果

我們在AIME 2024、AIME 2025、LiveCodeBench v5（2024/08/01 - 2025/02/01）和LiveCodeBench v6（2025/02/01 - 2025/05/01）上，將我們的模型與Qwen2.5和Llama3.1模型家族中可比大小的競爭推理模型進行了評估。更多評估結果可在我們的技術報告中找到。

評估工具包

請查看https://huggingface.co/nvidia/AceReason-Nemotron-14B/blob/main/README_EVALUATION.md 中的評估代碼、腳本和緩存的預測文件。

聯繫方式

• Yang Chen (yachen@nvidia.com)
• Zhuolin Yang (zhuoliny@nvidia.com)
• Zihan Liu (zihanl@nvidia.com)
• Chankyu Lee (chankyul@nvidia.com)
• Wei Ping (wping@nvidia.com)

🔧 技術細節

文檔未提供具體技術實現細節，故跳過。

📄 許可證

你對該模型的使用受NVIDIA開放模型許可證的約束。

📚 引用

@article{chen2025acereason,
  title={AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning},
  author={Chen, Yang and Yang, Zhuolin and Liu, Zihan and Lee, Chankyu and Xu, Peng and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint arXiv:2505.16400},
  year={2025}
}

💡 使用建議

1. 不包含系統提示，將所有指令直接放在用戶提示中。
2. 對於數學問題，建議使用以下指令：請逐步推理，並將最終答案放在\boxed{}內。
3. 對於代碼問題，根據是否有起始代碼，構建不同的提示信息。
4. 我們用於評估的推理引擎是 vLLM==0.7.3，使用 top-p=0.95，temperature=0.6，max_tokens=32768。