Opencodereasoning Nemotron 32B GGUF

🚀 OpenCodeReasoning-Nemotron-32B の概要

OpenCodeReasoning-Nemotron-32Bは、大規模言語モデル（LLM）であり、Qwen2.5-32B-Instruct（参照モデル）の派生モデルです。これは、コード生成のための推論に関して事後学習された推論モデルで、32Kトークンのコンテキスト長をサポートしています。

このモデルは、商用・非商用の両方の使用に対応しています。

🚀 クイックスタート

モデルの使用方法

コーディング問題に対する推論を実行するには、以下のコードを使用します。

import transformers
import torch

model_id = "nvidia/OpenCodeReasoning-Nemotron-32B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

prompt = """You are a helpful and harmless assistant. You should think step-by-step before responding to the instruction below.

Please use python programming language only.

You must use ```python for just the final solution code block with the following format:
```python
# Your code here

{user} """

messages = [ { "role": "user", "content": prompt.format(user="Write a program to calculate the sum of the first $N$ fibonacci numbers")}, ]

outputs = pipeline( messages, max_new_tokens=32768, ) print(outputs[0]["generated_text"][-1]['content'])

## ✨ 主な機能
- **派生モデル**：Qwen2.5-32B-Instructをベースに開発され、32Bのモデルパラメータを持つ。
- **コード生成推論**：コード生成のための推論に特化した事後学習が行われている。
- **コンテキスト長**：最大32Kトークンのコンテキスト長をサポートする。

## 📦 インストール
本READMEには具体的なインストール手順が記載されていないため、このセクションを省略します。

## 💻 使用例
### 基本的な使用法
上記の「クイックスタート」で示したコードが基本的な使用例です。

## 📚 ドキュメント
### [OpenCodeReasoning](https://arxiv.org/abs/2504.01943) からの結果
以下の結果は、各ベンチマークに対する**64回の評価**の平均値です。

| モデル                  | LiveCodeBench 平均 | CodeContest 全体 |
|------------------------|--------------------|-----------------|
| DeepSeek-R1            | 65.6               | 26.2            |
| QwQ-32B                | 61.3               | 20.2            |
|                        |                    |                 |
| **蒸留7B+モデル** |                    |                 |
|                        |                    |                 |
| Bespoke-Stratos-7B     | 14.7               | 2.0             |
| OpenThinker-7B         | 25.5               | 5.0             |
| R1-Distill-Qwen-7B     | 38.0               | 11.1            |
| OlympicCoder-7B        | 40.9               | 10.6            |
| **OCR-Qwen-7B** | **48.5** | **16.3** |
| **OCR-Qwen-7B-Instruct** | **51.3** | **18.1** |
|                        |                    |                 |
| **蒸留14B+モデル** |                    |                 |
|                        |                    |                 |
| R1-Distill-Qwen-14B    | 51.3               | 17.6            |
| **OCR-Qwen-14B** | **57.7** | **22.6** |
| **OCR-Qwen-14B-Instruct**| **59.4** | **23.6** |
|                        |                    |                 |
| **蒸留32B+モデル** |                    |                 |
|                        |                    |                 |
| Bespoke-Stratos-32B    | 30.1               | 6.3             |
| OpenThinker-32B        | 54.1               | 16.4            |
| R1-Distill-Qwen-32B    | 58.1               | 18.3            |
| OlympicCoder-32B       | 57.4               | 18.0            |
| **OCR-Qwen-32B** | **61.8** | **24.6** |
| **OCR-Qwen-32B-Instruct**| **61.7** | **24.4** |

### 結果の再現
- [モデル](https://huggingface.co/collections/nvidia/opencodereasoning-2-68168f37cd7c6beb1e3f92e7)
- [データセット](https://huggingface.co/datasets/nvidia/OpenCodeReasoning)
- [論文](https://arxiv.org/abs/2504.01943)

### 追加情報
#### モデルアーキテクチャ
- アーキテクチャタイプ：密なデコーダーのみのTransformerモデル
- ネットワークアーキテクチャ：Qwen-32B-Instruct 

このモデルはQwen2.5-32B-Instructをベースに開発され、32Bのモデルパラメータを持っています。

#### 入力
- **入力タイプ**：テキスト
- **入力形式**：文字列
- **入力パラメータ**：一次元（1D）
- **入力に関連するその他の特性**：最大32,768トークンのコンテキスト長

#### 出力
- **出力タイプ**：テキスト
- **出力形式**：文字列
- **出力パラメータ**：一次元（1D）
- **出力に関連するその他の特性**：最大32,768トークンのコンテキスト長

当社のAIモデルは、NVIDIA GPUアクセラレーションシステム上で実行するように設計および/または最適化されています。NVIDIAのハードウェア（GPUコアなど）とソフトウェアフレームワーク（CUDAライブラリなど）を活用することで、CPUのみのソリューションと比較して、より高速な学習と推論時間を実現しています。

#### ソフトウェア統合
- ランタイムエンジン：NeMo 2.3.0
- 推奨ハードウェアマイクロアーキテクチャ互換性：
  - NVIDIA Ampere
  - NVIDIA Hopper
- 推奨/サポートされるオペレーティングシステム：Linux

#### モデルバージョン
- 1.0 (4/25/2025)
  - OpenCodeReasoning-Nemotron-7B
  - OpenCodeReasoning-Nemotron-14B
  - OpenCodeReasoning-Nemotron-32B
  - OpenCodeReasoning-Nemotron-32B-IOI

### 学習と評価データセット
#### 学習データセット
OpenCodeReasoning-Nemotron-32Bの学習コーパスは、[OpenCodeReasoning](https://huggingface.co/datasets/nvidia/OpenCodeReasoning)データセットです。これは、競技プログラミングの問題とDeepSeek-R1による生成応答で構成されています。
- データ収集方法：ハイブリッド（自動、人間、合成）
- ラベリング方法：ハイブリッド（自動、人間、合成）
- 特性：OpenCodeReasoningからの736kサンプル（https://huggingface.co/datasets/nvidia/OpenCodeReasoning）

#### 評価データセット
次のセクションに記載されているデータセットを使用して、OpenCodeReasoning-Nemotron-32Bを評価しました。
- データ収集方法：ハイブリッド（自動、人間、合成）
- ラベリング方法：ハイブリッド（自動、人間、合成）

### 推論
- **エンジン**：vLLM
- **テストハードウェア**：NVIDIA H100-80GB

## 🔧 技術詳細
### 引用
もしこのデータが役に立った場合、以下を引用してください。

@article{ahmad2025opencodereasoning, title={OpenCodeReasoning: Advancing Data Distillation for Competitive Coding}, author={Wasi Uddin Ahmad, Sean Narenthiran, Somshubra Majumdar, Aleksander Ficek, Siddhartha Jain, Jocelyn Huang, Vahid Noroozi, Boris Ginsburg}, year={2025}, eprint={2504.01943}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2504.01943}, }

### 追加情報
| 属性 | 詳情 |
|------|------|
| モデルタイプ | 密なデコーダーのみのTransformerモデル |
| 学習データ | [OpenCodeReasoning](https://huggingface.co/datasets/nvidia/OpenCodeReasoning)データセット |

### 倫理的な考慮事項
NVIDIAは、信頼できるAIは共同の責任であると考えており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。サービス利用規約に従ってダウンロードまたは使用する場合、開発者は自社のモデルチームと協力して、このモデルが関連する業界やユースケースの要件を満たし、予期しない製品の誤用に対応することを確認する必要があります。

セキュリティの脆弱性またはNVIDIA AIに関する懸念事項は、こちらに報告してください。

## 📄 ライセンス
このモデルの使用は、[Apache 2.0](https://huggingface.co/nvidia/OpenCode-Nemotron-2-7B/blob/main/LICENSE)によって管理されます。

### 配備地域
グローバル

### ユースケース
このモデルは、LLMを構築する開発者と研究者を対象としています。

### リリース日
Huggingface [04/25/2025] via https://huggingface.co/nvidia/OpenCodeReasoning-Nemotron-32B/

### 参考文献
[2504.01943] OpenCodeReasoning: Advancing Data Distillation for Competitive Coding