Acereason Nemotron 14B GGUF

🚀 AceReason-Nemotron: 強化学習による数学とコード推論の進化

AceReason-Nemotron-14Bは、DeepSeek-R1-Distilled-Qwen-14Bをベースに、完全に強化学習（RL）を通じて学習された数学とコード推論モデルです。このモデルは、AIME 2024で78.6%（+8.9%）、AIME 2025で67.4%（+17.4%）、LiveCodeBench v5で61.1%（+8%）、LiveCodeBench v6で54.9%（+7%）、Codeforces 2024で543点の向上を達成するなど、印象的な結果をもたらします。

我々は、広範なアブレーション研究を通じてRLの学習プロセスを体系的に研究し、数学のみのプロンプトでのRL学習を行い、その後コードのみのプロンプトでのRL学習を行うという、シンプルでありながら効果的なアプローチを提案しました。特に、数学のみのRLは、強力な蒸留モデルの数学ベンチマークでの性能を大幅に向上させるだけでなく、コード推論タスクでも有効であることがわかりました。また、コードのみのRLを拡張することで、コードベンチマークの性能がさらに向上し、数学の結果の低下は最小限に抑えられます。我々は、RLが事前学習や教師あり微調整（例えば蒸留）の過程で獲得された基礎的な推論能力を引き出すだけでなく、モデルの推論能力の限界を押し広げ、以前は解けなかった問題を解くことを可能にすることを見出しました。

我々は、学習方法や学習ログを技術レポートで公開しています。

Unsloth Dynamic 2.0 は、他の主要な量子化手法を上回る精度を達成します。

🚀 クイックスタート

このモデルは、数学とコードの推論に特化しており、強化学習によって高度な性能を実現しています。以下の手順で簡単に使用することができます。

✨ 主な機能

• 数学とコードの推論において高い精度を達成
• 強化学習による学習方法で、モデルの推論能力を最大化
• 数学のみのRLとコードのみのRLを組み合わせたアプローチで、数学とコードの性能をバランスよく向上

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコードを実行して、モデルを読み込むことができます。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = 'nvidia/AceReason-Nemotron-14B'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = 'nvidia/AceReason-Nemotron-14B'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

prompt = "Jen enters a lottery by picking $4$ distinct numbers from $S=\\{1,2,3,\\cdots,9,10\\}.$ $4$ numbers are randomly chosen from $S.$ She wins a prize if at least two of her numbers were $2$ of the randomly chosen numbers, and wins the grand prize if all four of her numbers were the randomly chosen numbers. The probability of her winning the grand prize given that she won a prize is $\\tfrac{m}{n}$ where $m$ and $n$ are relatively prime positive integers. Find $m+n$."
messages = [{"role": "user", "content": prompt}]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda")

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768,
    temperature=0.6,
    top_p=0.95
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

高度な使用法

このモデルを使用する際の推奨事項を以下に示します。

⚠️ 重要提示

システムプロンプトを含めず、すべての指示を直接ユーザープロンプトに記載してください。

💡 使用建议

1. 数学の質問には、「Please reason step by step, and put your final answer within \boxed{}.」という指示を使用することをおすすめします。
2. コードの質問には、「Write Python code to solve the problem. Please place the solution code in the following format:

# Your solution code here

という指示を使用することをおすすめします。

📚 ドキュメント

我々は、モデルの評価結果や学習方法に関する詳細な情報を技術レポートで公開しています。また、以下の表には、Qwen2.5やLlama3.1モデルファミリー内の同等のサイズの競合する推論モデルとの比較評価結果を示しています。

📄 ライセンス

このモデルの使用は、NVIDIA Open Model Licenseに従います。

引用

@article{acereason2025,
  title={AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning},
  author={Chen, Yang and Yang, Zhuolin and Liu, Zihan and Lee, Chankyu and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2025}
}

問い合わせ先

• Yang Chen (yachen@nvidia.com)
• Zhuolin Yang (zhuoliny@nvidia.com)
• Zihan Liu (zihanl@nvidia.com)
• Chankyu Lee (chankyul@nvidia.com)
• Wei Ping (wping@nvidia.com)