Arliai QwQ 32B ArliAI RpR V4 GGUF

quantized_by: bartowski
pipeline_tag: text-generation
base_model: ArliAI/QwQ-32B-ArliAI-RpR-v4
language:

• en
  thumbnail: https://cdn-uploads.huggingface.co/production/uploads/6625f4a8a8d1362ebcc3851a/hIZ2ZcaDyfYLT9Yd4pfOs.jpeg
  license: apache-2.0
  base_model_relation: quantized

ArliAIのQwQ-32B-ArliAI-RpR-v4に対するLlamacpp imatrix量子化

llama.cppのリリースb5432を使用して量子化を行いました。

オリジナルモデル: https://huggingface.co/ArliAI/QwQ-32B-ArliAI-RpR-v4

すべての量子化は、こちらのデータセットを使用してimatrixオプションで作成されました。

LM Studioで実行可能です。

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行できます。

プロンプト形式

<|im_start|>system  
{system_prompt}<|im_end|>  
<|im_start|>user  
{prompt}<|im_end|>  
<|im_start|>assistant  
<think>  

以下のファイルをダウンロード（ブランチ全体ではなく）:

埋め込み/出力ウェイト

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力ウェイトを通常のデフォルトではなくQ8_0に量子化した標準的な量子化方法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"  

huggingface-cli download bartowski/ArliAI_QwQ-32B-ArliAI-RpR-v4-GGUF --include "ArliAI_QwQ-32B-ArliAI-RpR-v4-Q4_K_M.gguf" --local-dir ./  

huggingface-cli download bartowski/ArliAI_QwQ-32B-ArliAI-RpR-v4-GGUF --include "ArliAI_QwQ-32B-ArliAI-RpR-v4-Q8_0/*" --local-dir ./  

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらのウェイトはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし、現在はウェイトの「オンライン再パッキング」と呼ばれるものがあります。詳細はこのPRにあります。Q4_0を使用し、ハードウェアが再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できず、代わりにQ4_0を使用する必要があります。

さらに、このPRのおかげで、IQ4_NLを使用してARM用にウェイトを再パッキングすることで、やや良い品質を得ることができます（現時点では4_4のみ）。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。

どのファイルを選ぶべきか？

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事を支援してくれたLM Studioに感謝します。

私の仕事を支援したいですか？私のko-fiページを訪れてください: https://ko-fi.com/bartowski