🚀 OpenCodeReasoning-Nemotron-32B
OpenCodeReasoning-Nemotron-32Bは、Qwen2.5-32B-Instructをベースにした大規模言語モデル(LLM)です。コード生成のための推論用に追加学習された推論モデルで、32Kトークンのコンテキスト長をサポートしています。このモデルは商用・非商用利用に対応しています。

🚀 クイックスタート
モデルの推論実行
コーディング問題に対する推論を実行するには、以下のコードを使用します。
import transformers
import torch
model_id = "nvidia/OpenCodeReasoning-Nemotron-32B"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
prompt = """You are a helpful and harmless assistant. You should think step-by-step before responding to the instruction below.
Please use python programming language only.
You must use ```python for just the final solution code block with the following format:
```python
# Your code here
{user}
"""
messages = [
{
"role": "user",
"content": prompt.format(user="Write a program to calculate the sum of the first $N$ fibonacci numbers")},
]
outputs = pipeline(
messages,
max_new_tokens=32768,
)
print(outputs[0]["generated_text"][-1]['content'])
## ✨ 主な機能
- **コード生成推論**:Qwen2.5-32B-Instructをベースにしたコード生成用の推論モデルです。
- **長いコンテキスト対応**:32Kトークンのコンテキスト長をサポートしています。
- **商用・非商用利用可能**:商用および非商用の用途に使用できます。
## 📦 インストール
このモデルは`transformers`ライブラリを使用しています。必要な依存関係をインストールすることで使用できます。
```bash
pip install transformers torch
📚 ドキュメント
ベースモデル
- Qwen/Qwen2.5-32B-Instruct
データセット
評価結果
OpenCodeReasoningからの評価結果は、各ベンチマークに対して64回の評価の平均です。
モデル |
LiveCodeBench Avg. |
CodeContest All |
DeepSeek-R1 |
65.6 |
26.2 |
QwQ-32B |
61.3 |
20.2 |
Distilled 7B+ Models |
|
|
Bespoke-Stratos-7B |
14.7 |
2.0 |
OpenThinker-7B |
25.5 |
5.0 |
R1-Distill-Qwen-7B |
38.0 |
11.1 |
OlympicCoder-7B |
40.9 |
10.6 |
OCR-Qwen-7B |
48.5 |
16.3 |
OCR-Qwen-7B-Instruct |
51.3 |
18.1 |
Distilled 14B+ Models |
|
|
R1-Distill-Qwen-14B |
51.3 |
17.6 |
OCR-Qwen-14B |
57.7 |
22.6 |
OCR-Qwen-14B-Instruct |
59.4 |
23.6 |
Distilled 32B+ Models |
|
|
Bespoke-Stratos-32B |
30.1 |
6.3 |
OpenThinker-32B |
54.1 |
16.4 |
R1-Distill-Qwen-32B |
58.1 |
18.3 |
OlympicCoder-32B |
57.4 |
18.0 |
OCR-Qwen-32B |
61.8 |
24.6 |
OCR-Qwen-32B-Instruct |
61.7 |
24.4 |
再現方法
モデルアーキテクチャ
- アーキテクチャタイプ:Dense decoder-only Transformerモデル
- ネットワークアーキテクチャ:Qwen-32B-Instruct
- このモデルはQwen2.5-32B-Instructをベースに開発され、32Bのモデルパラメータを持っています。
入力
- 入力タイプ:テキスト
- 入力形式:文字列
- 入力パラメータ:一次元(1D)
- 入力に関連するその他の特性:最大32,768トークンのコンテキスト長
出力
- 出力タイプ:テキスト
- 出力形式:文字列
- 出力パラメータ:一次元(1D)
- 出力に関連するその他の特性:最大32,768トークンのコンテキスト長
ソフトウェア統合
- ランタイムエンジン:NeMo 2.3.0
- 推奨ハードウェアマイクロアーキテクチャ互換性:NVIDIA Ampere、NVIDIA Hopper
- 推奨/サポートされるオペレーティングシステム:Linux
モデルバージョン
- 1.0 (4/25/2025)
- OpenCodeReasoning-Nemotron-7B
- OpenCodeReasoning-Nemotron-14B
- OpenCodeReasoning-Nemotron-32B
- OpenCodeReasoning-Nemotron-32B-IOI
トレーニングデータセット
OpenCodeReasoning-Nemotron-32BのトレーニングコーパスはOpenCodeReasoningデータセットで、競技プログラミングの問題とDeepSeek-R1が生成した応答で構成されています。
- データ収集方法:ハイブリッド(自動、人間、合成)
- ラベリング方法:ハイブリッド(自動、人間、合成)
- 特性:OpenCodeReasoningから736kのサンプル(https://huggingface.co/datasets/nvidia/OpenCodeReasoning)
評価データセット
OpenCodeReasoning-Nemotron-32Bの評価には次のセクションにリストされているデータセットを使用しました。
- データ収集方法:ハイブリッド(自動、人間、合成)
- ラベリング方法:ハイブリッド(自動、人間、合成)
ライセンス/利用規約
このモデルの利用はApache 2.0によって管理されています。
展開地域
グローバル
ユースケース
このモデルは、LLMを構築する開発者や研究者を対象としています。
リリース日
Huggingface [04/25/2025] via https://huggingface.co/nvidia/OpenCodeReasoning-Nemotron-32B/
参考文献
[2504.01943] OpenCodeReasoning: Advancing Data Distillation for Competitive Coding
推論
- エンジン:vLLM
- テストハードウェア:NVIDIA H100-80GB
倫理的配慮
NVIDIAは、信頼できるAIは共有の責任であると考えており、幅広いAIアプリケーションの開発を可能にするポリシーと実践を確立しています。サービス利用規約に従ってダウンロードまたは使用する場合、開発者は内部のモデルチームと協力して、このモデルが関連する業界やユースケースの要件を満たし、予期しない製品の誤用に対応することを確認する必要があります。セキュリティの脆弱性やNVIDIA AIに関する懸念事項はこちらで報告してください。
🔧 技術詳細
このモデルは、Qwen2.5-32B-Instructをベースにして開発されています。コード生成のための推論用に追加学習されており、32Kトークンのコンテキスト長をサポートしています。NVIDIA GPUアクセラレーションシステムでの実行が設計および/または最適化されており、NVIDIAのハードウェア(GPUコアなど)とソフトウェアフレームワーク(CUDAライブラリなど)を活用することで、CPUのみのソリューションと比較して高速なトレーニングと推論時間を実現しています。
📄 ライセンス
このモデルはApache 2.0ライセンスの下で提供されています。
引用
@article{ahmad2025opencodereasoning,
title={OpenCodeReasoning: Advancing Data Distillation for Competitive Coding},
author={Wasi Uddin Ahmad, Sean Narenthiran, Somshubra Majumdar, Aleksander Ficek, Siddhartha Jain, Jocelyn Huang, Vahid Noroozi, Boris Ginsburg},
year={2025},
eprint={2504.01943},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2504.01943},
}