Opencodereasoning Nemotron 14B

🚀 OpenCodeReasoning-Nemotron-14Bの概要

OpenCodeReasoning-Nemotron-14Bは、大規模言語モデル（LLM）であり、Qwen2.5-14B-Instruct（参照モデル）の派生モデルです。これはコード生成のための推論用に事後学習された推論モデルで、32Kトークンのコンテキスト長をサポートしています。このモデルは商用・非商用利用に対応しています。

📚 詳細ドキュメント

OpenCodeReasoningの結果

以下の結果は、各ベンチマークにおける64回の評価の平均値です。

結果の再現

• モデル
• データセット
• 論文

モデルの使用方法

コーディング問題に対して推論を実行するには、以下のコードを使用します。

import transformers
import torch

model_id = "nvidia/OpenCodeReasoning-Nemotron-14B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

prompt = """You are a helpful and harmless assistant. You should think step-by-step before responding to the instruction below.

Please use python programming language only.

You must use ```python for just the final solution code block with the following format:
```python
# Your code here

{user} """

messages = [ { "role": "user", "content": prompt.format(user="Write a program to calculate the sum of the first $N$ fibonacci numbers")}, ]

outputs = pipeline( messages, max_new_tokens=32768, ) print(outputs[0]["generated_text"][-1]['content'])

### 引用
データが有用であると思われる場合は、以下を引用してください。

@article{ahmad2025opencodereasoning, title={OpenCodeReasoning: Advancing Data Distillation for Competitive Coding}, author={Wasi Uddin Ahmad, Sean Narenthiran, Somshubra Majumdar, Aleksander Ficek, Siddhartha Jain, Jocelyn Huang, Vahid Noroozi, Boris Ginsburg}, year={2025}, eprint={2504.01943}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2504.01943}, }

### 追加情報
#### モデルアーキテクチャ
- アーキテクチャタイプ: 密結合デコーダーのみのTransformerモデル
- ネットワークアーキテクチャ: Qwen-14B-Instruct 

このモデルはQwen2.5-14B-Instructをベースに開発され、14Bのモデルパラメータを持っています。

#### 入力
- **入力タイプ**: テキスト
- **入力形式**: 文字列
- **入力パラメータ**: 一次元（1D）
- **入力に関連するその他の特性**: 最大32,768トークンのコンテキスト長

#### 出力
- **出力タイプ**: テキスト
- **出力形式**: 文字列
- **出力パラメータ**: 一次元（1D）
- **出力に関連するその他の特性**: 最大32,768トークンのコンテキスト長

当社のAIモデルは、NVIDIA GPUアクセラレーションシステム上での実行が設計および/または最適化されています。NVIDIAのハードウェア（GPUコアなど）とソフトウェアフレームワーク（CUDAライブラリなど）を活用することで、CPUのみのソリューションと比較して、より高速な学習と推論時間を実現しています。

#### ソフトウェア統合
- ランタイムエンジン: NeMo 2.3.0
- 推奨ハードウェアマイクロアーキテクチャ互換性:
  - NVIDIA Ampere
  - NVIDIA Hopper
- 推奨/サポートされるオペレーティングシステム: Linux

#### モデルバージョン
- 1.0 (4/25/2025)
  - OpenCodeReasoning-Nemotron-7B
  - OpenCodeReasoning-Nemotron-14B
  - OpenCodeReasoning-Nemotron-32B
  - OpenCodeReasoning-Nemotron-32B-IOI

### 学習と評価データセット
#### 学習データセット
OpenCodeReasoning-Nemotron-14Bの学習コーパスは、[OpenCodeReasoning](https://huggingface.co/datasets/nvidia/OpenCodeReasoning)データセットで、競技プログラミングの問題とDeepSeek-R1が生成した応答で構成されています。
- データ収集方法: ハイブリッド（自動、人間、合成）
- ラベリング方法: ハイブリッド（自動、人間、合成）
- 特性: OpenCodeReasoningからの736kサンプル (https://huggingface.co/datasets/nvidia/OpenCodeReasoning)

#### 評価データセット
OpenCodeReasoning-Nemotron-14Bの評価には、次のセクションに記載されているデータセットを使用しました。
- データ収集方法: ハイブリッド（自動、人間、合成）
- ラベリング方法: ハイブリッド（自動、人間、合成）

### ライセンス
このモデルの使用は、[Apache 2.0](https://huggingface.co/nvidia/OpenCode-Nemotron-2-14B/blob/main/LICENSE)に基づいて管理されます。

### 展開地域
グローバル

### ユースケース
このモデルは、LLMを構築する開発者や研究者を対象としています。

### リリース日
Huggingface [04/25/2025] via https://huggingface.co/nvidia/OpenCodeReasoning-Nemotron-7B/

### 参照
[2504.01943] OpenCodeReasoning: Advancing Data Distillation for Competitive Coding

### 推論
- **エンジン**: vLLM
- **テストハードウェア**: NVIDIA H100-80GB

### 倫理的配慮
NVIDIAは、信頼できるAIは共同の責任であると考えており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。サービス利用規約に従ってダウンロードまたは使用する場合、開発者は内部のモデルチームと協力して、このモデルが関連する業界やユースケースの要件を満たし、予期しない製品の誤用に対応することを確認する必要があります。セキュリティの脆弱性やNVIDIA AIに関する懸念事項は、こちらに報告してください。