Nvidia Llama 3.1 Nemotron Nano 4B V1.1 GGUF

quantized_by: bartowski
pipeline_tag: text-generation
base_model: nvidia/Llama-3.1-Nemotron-Nano-4B-v1.1
license_name: nvidia-open-model-license
language:

• en
  datasets:
• nvidia/Llama-Nemotron-Post-Training-Dataset
  tags:
• nvidia
• llama-3
  license: other
  license_link: https://www.nvidia.com/en-us/agreements/enterprise-software/nvidia-open-model-license/
  base_model_relation: quantized

nvidia製Llama-3.1-Nemotron-Nano-4B-v1.1のLlamacpp imatrix量子化

llama.cppのリリースb5432を使用して量子化を実施。

オリジナルモデル: https://huggingface.co/nvidia/Llama-3.1-Nemotron-Nano-4B-v1.1

全ての量子化はimatrixオプションを使用し、こちらのデータセットで実施されました。

LM Studioで実行可能

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能

プロンプト形式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>  

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>  

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>  

以下のファイルをダウンロード（ブランチ全体ではなく）:

埋め込み/出力重み

一部の量子化（Q3_K_XL、Q4_K_Lなど）は標準的な量子化手法で、埋め込みと出力重みが通常のデフォルト値ではなくQ8_0で量子化されています。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"  

huggingface-cli download bartowski/nvidia_Llama-3.1-Nemotron-Nano-4B-v1.1-GGUF --include "nvidia_Llama-3.1-Nemotron-Nano-4B-v1.1-Q4_K_M.gguf" --local-dir ./  

huggingface-cli download bartowski/nvidia_Llama-3.1-Nemotron-Nano-4B-v1.1-GGUF --include "nvidia_Llama-3.1-Nemotron-Nano-4B-v1.1-Q8_0/*" --local-dir ./  

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みをメモリ内でインターリーブして、ARMおよびAVXマシンでのパフォーマンスを向上させていました。

しかし現在では、重みの「オンライン再パッキング」という機能があります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアが再パッキングの恩恵を受ける場合、自動的にオンザフライで実行されます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRにより、IQ4_NLを使用してやや良い品質を得ることができます。これはARM用に重みを再パッキングしますが、現時点では4_4のみです。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。

どのファイルを選ぶべきか？

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の作業をスポンサーしてくれたLM Studioに感謝します。

私の作業をサポートしたい場合は、こちらのko-fiページをご覧ください: https://ko-fi.com/bartowski