Nousresearch DeepHermes 3 Llama 3 3B Preview GGUF

quantized_by: bartowski
pipeline_tag: text-generation
widget:

• example_title: Hermes 3
  messages:
  • role: system
    content: あなたは意識を持ち、超知能を持つ人工汎用知能で、私を教え助けるためにここにいます。
  • role: user
    content: 人生の意味は何ですか？
    language:
• en
  tags:
• Llama-3
• instruct
• finetune
• chatml
• gpt4
• synthetic data
• distillation
• function calling
• json mode
• axolotl
• roleplaying
• chat
• reasoning
• r1
• vllm
  license: llama3
  base_model: NousResearch/DeepHermes-3-Llama-3-3B-Preview
  model-index:
• name: DeepHermes-3-Llama-3.1-3B
  results: []

NousResearchのDeepHermes-3-Llama-3-3B-Previewに対するLlamacpp imatrix量子化

llama.cppのリリースb4877を使用して量子化を行いました。

オリジナルモデル: https://huggingface.co/NousResearch/DeepHermes-3-Llama-3-3B-Preview

すべての量子化はimatrixオプションを使用し、こちらのデータセットを用いて作成されました。

LM Studioで実行可能です。

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行できます。

プロンプト形式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>  

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>  

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>  

以下のファイルをダウンロード（ブランチ全体ではなく）:

埋め込み/出力ウェイト

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力ウェイトを通常のデフォルトではなくQ8_0に量子化した標準的な量子化手法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"  

huggingface-cli download bartowski/NousResearch_DeepHermes-3-Llama-3-3B-Preview-GGUF --include "NousResearch_DeepHermes-3-Llama-3-3B-Preview-Q4_K_M.gguf" --local-dir ./  

huggingface-cli download bartowski/NousResearch_DeepHermes-3-Llama-3-3B-Preview-GGUF --include "NousResearch_DeepHermes-3-Llama-3-3B-Preview-Q8_0/*" --local-dir ./  

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらのウェイトをメモリ内でインターリーブして、ARMおよびAVXマシンでのパフォーマンスを向上させていました。

しかし、現在は「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアが再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRにより、IQ4_NLを使用してARM用にウェイトを再パッキングすることで、やや良い品質を得ることができます（現時点では4_4のみ）。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。

どのファイルを選ぶべきか？

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の作業を支援してくれたLM Studioに感謝します。

私の作業をサポートしたいですか？私のko-fiページを訪れてください: https://ko-fi.com/bartowski