Nvidia OpenCodeReasoning Nemotron 14B GGUF

quantized_by: bartowski pipeline_tag: text-generation language:

• en license: apache-2.0 base_model_relation: quantized base_model: nvidia/OpenCodeReasoning-Nemotron-14B tags:
• nvidia
• code datasets:
• nvidia/OpenCodeReasoning

NVIDIA製OpenCodeReasoning-Nemotron-14BのLlamacpp imatrix量子化

量子化にはllama.cppのリリースb5306を使用。

オリジナルモデル: https://huggingface.co/nvidia/OpenCodeReasoning-Nemotron-14B

全ての量子化はimatrixオプションを使用し、データセットはこちらから取得。

LM Studioで実行可能。

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能。

プロンプト形式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

以下のファイルをダウンロード（ブランチ全体ではなく）:

埋め込み/出力重み

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力重みを通常のデフォルトではなくQ8_0に量子化した標準的な量子化手法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/nvidia_OpenCodeReasoning-Nemotron-14B-GGUF --include "nvidia_OpenCodeReasoning-Nemotron-14B-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/nvidia_OpenCodeReasoning-Nemotron-14B-GGUF --include "nvidia_OpenCodeReasoning-Nemotron-14B-Q8_0/*" --local-dir ./

ARM/AVX情報

以前はQ4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度に多くのデータをロードしていました。

しかし現在は、重みの「オンライン再パッキング」と呼ばれるものがあります。詳細はこのPRにあります。Q4_0を使用し、ハードウェアが再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRにより、ARM用に重みを再パッキングするIQ4_NLを使用して、やや良い品質を得ることができます（現時点では4_4のみ）。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。

どのファイルを選ぶべきか？

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の作業をスポンサーしてくれたLM Studioに感謝します。

私の作業をサポートしたいですか？私のko-fiページはこちら: https://ko-fi.com/bartowski