NVIDIA OpenReasoning-Nemotron-7B-GGUFオープンソースモデル - 量子化版はハードウェアの実行効率を向上させます

ホーム

Nvidia OpenReasoning Nemotron 7B GGUF

bartowskiによって開発

NVIDIA OpenReasoning-Nemotron-7Bモデルの量子化バージョンで、llama.cppツールを使用して量子化処理を行い、さまざまなハードウェアでの実行効率とパフォーマンスを向上させます。

大規模言語モデル #高効率な量子化推論 #多シナリオ推論最適化 #低メモリ適合

ダウンロード数 933

リリース時間 : 7/18/2025

モデル概要

このプロジェクトは、NVIDIA OpenReasoning-Nemotron-7Bモデルの複数の量子化バージョンを提供し、さまざまなハードウェア構成に適しており、推論速度とメモリ使用量の最適化を目的としています。

モデル特徴

複数の量子化オプション

Q8_0からQ2_Kまでの複数の量子化レベルを提供し、さまざまなハードウェアとパフォーマンスの要件を満たします。

ハードウェア互換性の最適化

ARMおよびAVX CPU推論のオンライン再パッケージングをサポートし、特定のハードウェアでのパフォーマンスを向上させます。

高品質な推論

一部の量子化バージョン（例：Q6_K_L）は、元のモデルに近い推論品質を維持します。

柔軟なデプロイメント

LM Studio、llama.cppおよびllama.cppベースのプロジェクトでの実行をサポートします。

モデル能力

テキスト生成

論理推論

複数回の対話

プロンプトエンジニアリング

使用事例

研究と開発

モデルパフォーマンステスト

特定のハードウェアでのさまざまな量子化レベルのパフォーマンスをテストします。

詳細な量子化レベルとパフォーマンスの比較データを提供します

アプリケーションデプロイメント

ローカル推論サービス

リソースが制限されたデバイスで高効率なテキスト生成サービスをデプロイします。

メモリ使用量を削減しながら許容可能な生成品質を維持します

🚀 NVIDIAのOpenReasoning-Nemotron-7BのLlamacpp imatrix量子化モデル

このプロジェクトでは、NVIDIAのOpenReasoning-Nemotron-7Bモデルを量子化し、様々な量子化形式のモデルを提供しています。量子化には、llama.cppのリリース版 b5934 を使用しています。

🚀 クイックスタート

モデルの実行

LM Studio で実行することができます。
llama.cpp または他のllama.cppベースのプロジェクトで直接実行することもできます。

プロンプトフォーマット

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

ファイルのダウンロード

以下の表から必要なファイルを選択してダウンロードしてください。

ファイル名	量子化タイプ	ファイルサイズ	分割	説明
OpenReasoning-Nemotron-7B-bf16.gguf	bf16	15.24GB	false	完全なBF16ウェイト。
OpenReasoning-Nemotron-7B-Q8_0.gguf	Q8_0	8.10GB	false	非常に高品質で、一般的には必要ないが、利用可能な最大の量子化。
OpenReasoning-Nemotron-7B-Q6_K_L.gguf	Q6_K_L	6.52GB	false	埋め込みと出力ウェイトにQ8_0を使用。非常に高品質で、ほぼ完璧で、推奨。
OpenReasoning-Nemotron-7B-Q6_K.gguf	Q6_K	6.25GB	false	非常に高品質で、ほぼ完璧で、推奨。
OpenReasoning-Nemotron-7B-Q5_K_L.gguf	Q5_K_L	5.78GB	false	埋め込みと出力ウェイトにQ8_0を使用。高品質で、推奨。
OpenReasoning-Nemotron-7B-Q5_K_M.gguf	Q5_K_M	5.44GB	false	高品質で、推奨。
OpenReasoning-Nemotron-7B-Q5_K_S.gguf	Q5_K_S	5.32GB	false	高品質で、推奨。
OpenReasoning-Nemotron-7B-Q4_K_L.gguf	Q4_K_L	5.09GB	false	埋め込みと出力ウェイトにQ8_0を使用。良好な品質で、推奨。
OpenReasoning-Nemotron-7B-Q4_1.gguf	Q4_1	4.87GB	false	レガシー形式で、Q4_K_Sと同様のパフォーマンスが得られるが、Appleシリコンでのトークン/ワットが向上しています。
OpenReasoning-Nemotron-7B-Q4_K_M.gguf	Q4_K_M	4.68GB	false	良好な品質で、ほとんどのユースケースでのデフォルトサイズ、推奨。
OpenReasoning-Nemotron-7B-Q3_K_XL.gguf	Q3_K_XL	4.57GB	false	埋め込みと出力ウェイトにQ8_0を使用。品質は低いが使用可能で、低RAM環境に適しています。
OpenReasoning-Nemotron-7B-Q4_K_S.gguf	Q4_K_S	4.46GB	false	品質がやや低いが、より多くのスペースを節約できる、推奨。
OpenReasoning-Nemotron-7B-Q4_0.gguf	Q4_0	4.44GB	false	レガシー形式で、ARMおよびAVX CPU推論用のオンライン再パッキングを提供します。
OpenReasoning-Nemotron-7B-IQ4_NL.gguf	IQ4_NL	4.44GB	false	IQ4_XSに似ていますが、やや大きいです。ARM CPU推論用のオンライン再パッキングを提供します。
OpenReasoning-Nemotron-7B-IQ4_XS.gguf	IQ4_XS	4.22GB	false	適度な品質で、Q4_K_Sよりも小さく、同様のパフォーマンスが得られる、推奨。
OpenReasoning-Nemotron-7B-Q3_K_L.gguf	Q3_K_L	4.09GB	false	品質は低いが使用可能で、低RAM環境に適しています。
OpenReasoning-Nemotron-7B-Q3_K_M.gguf	Q3_K_M	3.81GB	false	低品質。
OpenReasoning-Nemotron-7B-IQ3_M.gguf	IQ3_M	3.57GB	false	中程度の低品質で、Q3_K_Mに匹敵する適度なパフォーマンスを持つ新しい方法。
OpenReasoning-Nemotron-7B-Q2_K_L.gguf	Q2_K_L	3.55GB	false	埋め込みと出力ウェイトにQ8_0を使用。非常に低品質ですが、意外と使用可能です。
OpenReasoning-Nemotron-7B-Q3_K_S.gguf	Q3_K_S	3.49GB	false	低品質で、推奨しません。
OpenReasoning-Nemotron-7B-IQ3_XS.gguf	IQ3_XS	3.35GB	false	品質は低いが、適度なパフォーマンスを持つ新しい方法で、Q3_K_Sよりも少し良いです。
OpenReasoning-Nemotron-7B-IQ3_XXS.gguf	IQ3_XXS	3.11GB	false	品質は低いが、適度なパフォーマンスを持つ新しい方法で、Q3量子化と同等です。
OpenReasoning-Nemotron-7B-Q2_K.gguf	Q2_K	3.02GB	false	非常に低品質ですが、意外と使用可能です。
OpenReasoning-Nemotron-7B-IQ2_M.gguf	IQ2_M	2.78GB	false	比較的低品質ですが、SOTA技術を使用しているため、意外と使用可能です。

✨ 主な機能

様々な量子化形式のモデルを提供し、異なるハードウェア環境に対応。
オンライン再パッキング機能により、ARMおよびAVXマシンでのパフォーマンスを向上。

📦 インストール

huggingface-cliを使用したダウンロード

ダウンロード手順を表示するにはクリック

まず、hugginface-cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

次に、ダウンロードしたい特定のファイルを指定できます。

huggingface-cli download bartowski/nvidia_OpenReasoning-Nemotron-7B-GGUF --include "nvidia_OpenReasoning-Nemotron-7B-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。これらをすべてローカルフォルダにダウンロードするには、次のコマンドを実行します。

huggingface-cli download bartowski/nvidia_OpenReasoning-Nemotron-7B-GGUF --include "nvidia_OpenReasoning-Nemotron-7B-Q8_0/*" --local-dir ./

新しいローカルディレクトリ（nvidia_OpenReasoning-Nemotron-7B-Q8_0）を指定するか、すべてをその場所にダウンロードすることができます（./）。

🔧 技術詳細

埋め込み/出力ウェイト

一部の量子化（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みと出力ウェイトが通常のデフォルト値ではなくQ8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、ARMおよびAVXマシンでのパフォーマンスを向上させるために、メモリ内でウェイトをインターリーブしていました。

しかし、現在では、ウェイトの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPR を参照してください。Q4_0を使用し、ハードウェアがウェイトの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルド b4282 以降、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。

さらに、このPR により、IQ4_NLを使用することで、少し品質を向上させることができます。これはARM用にウェイトを再パッキングすることもできますが、現時点では4_4のみです。読み込み時間は長くなる可能性がありますが、全体的な速度が向上します。

Q4_0_X_X情報を表示するにはクリック（非推奨）

このセクションは、オンライン再パッキングを使用したQ4_0の理論的なパフォーマンス向上を示すために残しています。

AVX2システム（EPYC7702）でのベンチマークを表示するにはクリック

モデル	サイズ	パラメータ	バックエンド	スレッド	テスト	t/s	% (vs Q4_0)
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp512	204.03 ± 1.03	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp1024	282.92 ± 0.19	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp2048	259.49 ± 0.44	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg128	39.12 ± 0.27	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg256	39.31 ± 0.69	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg512	40.52 ± 0.03	100%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp512	301.02 ± 1.74	147%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp1024	287.23 ± 0.20	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp2048	262.77 ± 1.81	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg128	18.80 ± 0.99	48%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg256	24.46 ± 3.04	83%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg512	36.32 ± 3.59	90%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp512	271.71 ± 3.53	133%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp1024	279.86 ± 45.63	100%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp2048	320.77 ± 5.00	124%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg128	43.51 ± 0.05	111%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg256	43.35 ± 0.09	110%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg512	42.60 ± 0.31	105%