Google Gemma 3 4b It Qat GGUF

quantized_by: bartowski pipeline_tag: image-text-to-text tags:

• gemma3
• gemma
• google license: gemma extra_gated_button_content: ライセンスを確認 extra_gated_heading: Hugging FaceでGemmaにアクセス extra_gated_prompt: >- Hugging FaceでGemmaにアクセスするには、Googleの使用ライセンスを確認し同意する必要があります。 これを行うには、Hugging Faceにログインしていることを確認し、以下をクリックしてください。 リクエストは即座に処理されます。 base_model: google/gemma-3-4b-it-qat-q4_0-unquantized

Googleのgemma-3-4b-it-qatに対するLlamacpp imatrix量子化

これらはGoogleが提供したQAT（量子化対応トレーニング）ウェイトから派生しています

Q4_0のみが改善されると予想されますが、ついでに他の量子化も試してみました

gemma-3-4b-it-qat-Q4_0.gguf | Q4_0 | 2.37GB | false | QATにより改善されるはず、ARMおよびAVX CPU推論用のオンライン再パッキングを提供。

量子化にはllama.cppのリリースb5147を使用。

オリジナルモデル: https://huggingface.co/google/gemma-3-4b-it-qat-q4_0-unquantized

すべての量子化はこちらのデータセットを使用してimatrixオプションで作成されました

LM Studioで実行可能

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能

プロンプト形式

<bos><start_of_turn>user
{system_prompt}

{prompt}<end_of_turn>
<start_of_turn>model
<end_of_turn>
<start_of_turn>model

以下のファイルをダウンロード（ブランチ全体ではなく）:

埋め込み/出力ウェイト

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力ウェイトが通常のデフォルトではなくQ8_0で量子化された標準的な量子化手法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/google_gemma-3-4b-it-qat-GGUF --include "google_gemma-3-4b-it-qat-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/google_gemma-3-4b-it-qat-GGUF --include "google_gemma-3-4b-it-qat-Q8_0/*" --local-dir ./

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらのウェイトはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし、現在はウェイトの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRにあります。Q4_0を使用し、ハードウェアがウェイトの再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できず、代わりにQ4_0を使用する必要があります。

さらに、このPRのおかげで、IQ4_NLを使用するとARM用のウェイトも再パッキングされ（現時点では4_4のみ）、品質がわずかに向上します。ロード時間は遅くなる可能性がありますが、全体的な速度向上が得られます。

どのファイルを選ぶべきか？

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

embed/outputの実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事を支援してくれたLM Studioに感謝します。

私の仕事をサポートしたいですか？私のko-fiページをご覧ください: https://ko-fi.com/bartowski