Google Gemma 3 1b It Qat GGUF

quantized_by: bartowski pipeline_tag: text-generation tags:

• gemma3
• gemma
• google license: gemma extra_gated_button_content: ライセンスを確認 extra_gated_heading: Hugging FaceでGemmaにアクセス extra_gated_prompt: Hugging FaceでGemmaにアクセスするには、Googleの利用規約を確認し同意する必要があります。これを行うには、Hugging Faceにログインしていることを確認し、以下をクリックしてください。リクエストは即座に処理されます。 base_model: google/gemma-3-1b-it-qat-q4_0-unquantized

Googleのgemma-3-1b-it-qatのLlamacpp imatrix量子化

これらはGoogleが提供したQAT（量子化対応トレーニング）の重みから派生しています

Q4_0のみが改善されることが期待されますが、ついでに他の量子化も試してみました。

gemma-3-1b-it-qat-Q4_0.gguf | Q4_0 | 0.72GB | QATにより改善されるはずで、ARMおよびAVX CPU推論のためのオンライン再パッキングを提供します。

量子化にはllama.cppのリリースb5147を使用しました。

オリジナルモデル: https://huggingface.co/google/gemma-3-1b-it-qat-q4_0-unquantized

すべての量子化は、こちらのデータセットを使用してimatrixオプションで作成されました。

LM Studioで実行できます。

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行できます。

プロンプト形式

<bos><start_of_turn>user
{system_prompt}

{prompt}<end_of_turn>
<start_of_turn>model
<end_of_turn>
<start_of_turn>model

以下のファイルをダウンロードしてください（ブランチ全体ではありません）:

埋め込み/出力重み

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力重みが通常のデフォルトではなくQ8_0で量子化された標準的な量子化手法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/google_gemma-3-1b-it-qat-GGUF --include "google_gemma-3-1b-it-qat-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/google_gemma-3-1b-it-qat-GGUF --include "google_gemma-3-1b-it-qat-Q8_0/*" --local-dir ./

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシン上のパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし、現在は重みの「オンライン再パッキング」と呼ばれるものがあります。詳細はこのPRにあります。Q4_0を使用し、ハードウェアが重みの再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRにより、IQ4_NLを使用してARM向けに重みを再パッキングすることもできます（現時点では4_4のみ）。ロード時間は遅くなるかもしれませんが、全体的な速度向上が期待できます。

どのファイルを選ぶべきか？

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事を支援してくれたLM Studioに感謝します。

私の仕事をサポートしたいですか？私のko-fiページを訪れてください: https://ko-fi.com/bartowski