モデル概要
モデル特徴
モデル能力
使用事例
quantized_by: bartowski pipeline_tag: image-text-to-text tags:
- gemma3
- gemma
- google license: gemma extra_gated_button_content: ライセンスを確認 extra_gated_heading: Hugging FaceでGemmaにアクセス extra_gated_prompt: >- Hugging FaceでGemmaにアクセスするには、Googleの利用規約を確認し同意する必要があります。 これを行うには、Hugging Faceにログインしていることを確認し、以下をクリックしてください。 リクエストは即座に処理されます。 base_model_relation: quantized base_model: google/gemma-3-12b-it-qat-q4_0-unquantized
Googleのgemma-3-12b-it-qatに対するLlamacpp imatrix量子化
これらはGoogleが提供したQAT(量子化対応トレーニング)ウェイトから派生しています
Q4_0のみが改善される予定ですが、せっかくなので他の量子化も試してみました
gemma-3-12b-it-qat-Q4_0.gguf | Q4_0 | 6.91GB | false | QATにより改善されるはず、ARMおよびAVX CPU推論用のオンライン再パッキングを提供
オリジナルモデル: https://huggingface.co/google/gemma-3-12b-it-qat-q4_0-unquantized
すべての量子化はこちらのデータセットを使用してimatrixオプションで作成
LM Studioで実行可能
llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能
プロンプト形式
<bos><start_of_turn>user
{system_prompt}
{prompt}<end_of_turn>
<start_of_turn>model
<end_of_turn>
<start_of_turn>model
以下のファイルをダウンロード(ブランチ全体ではなく):
ファイル名 | 量子化タイプ | ファイルサイズ | 分割 | 説明 |
---|---|---|---|---|
gemma-3-12b-it-qat-bf16.gguf | bf16 | 23.54GB | false | 完全なBF16ウェイト |
gemma-3-12b-it-qat-Q8_0.gguf | Q8_0 | 12.51GB | false | 非常に高品質、通常不要だが利用可能な最大量子化 |
gemma-3-12b-it-qat-Q6_K_L.gguf | Q6_K_L | 9.90GB | false | 埋め込みと出力ウェイトにQ8_0を使用。非常に高品質、ほぼ完璧、推奨 |
gemma-3-12b-it-qat-Q6_K.gguf | Q6_K | 9.66GB | false | 非常に高品質、ほぼ完璧、推奨 |
gemma-3-12b-it-qat-Q5_K_L.gguf | Q5_K_L | 8.69GB | false | 埋め込みと出力ウェイトにQ8_0を使用。高品質、推奨 |
gemma-3-12b-it-qat-Q5_K_M.gguf | Q5_K_M | 8.45GB | false | 高品質、推奨 |
gemma-3-12b-it-qat-Q5_K_S.gguf | Q5_K_S | 8.23GB | false | 高品質、推奨 |
gemma-3-12b-it-qat-Q4_1.gguf | Q4_1 | 7.56GB | false | レガシーフォーマット、Q4_K_Sと同様の性能だがAppleシリコンでトークン/ワットが改善 |
gemma-3-12b-it-qat-Q4_K_L.gguf | Q4_K_L | 7.54GB | false | 埋め込みと出力ウェイトにQ8_0を使用。良好な品質、推奨 |
gemma-3-12b-it-qat-Q4_K_M.gguf | Q4_K_M | 7.30GB | false | 良好な品質、ほとんどのユースケースのデフォルトサイズ、推奨 |
gemma-3-12b-it-qat-Q4_K_S.gguf | Q4_K_S | 6.94GB | false | 品質はやや低いがスペース節約、推奨 |
gemma-3-12b-it-qat-Q4_0.gguf | Q4_0 | 6.91GB | false | レガシーフォーマット、ARMおよびAVX CPU推論用のオンライン再パッキングを提供 |
gemma-3-12b-it-qat-IQ4_NL.gguf | IQ4_NL | 6.89GB | false | IQ4_XSに似ているがやや大きい。ARM CPU推論用のオンライン再パッキングを提供 |
gemma-3-12b-it-qat-Q3_K_XL.gguf | Q3_K_XL | 6.72GB | false | 埋め込みと出力ウェイトにQ8_0を使用。品質は低いが使用可能、低RAM環境向け |
gemma-3-12b-it-qat-IQ4_XS.gguf | IQ4_XS | 6.55GB | false | まあまあの品質、Q4_K_Sより小さく同様の性能、推奨 |
gemma-3-12b-it-qat-Q3_K_L.gguf | Q3_K_L | 6.48GB | false | 品質は低いが使用可能、低RAM環境向け |
gemma-3-12b-it-qat-Q3_K_M.gguf | Q3_K_M | 6.01GB | false | 低品質 |
gemma-3-12b-it-qat-IQ3_M.gguf | IQ3_M | 5.66GB | false | 中低品質、Q3_K_Mに匹敵する性能の新しい手法 |
gemma-3-12b-it-qat-Q3_K_S.gguf | Q3_K_S | 5.46GB | false | 低品質、非推奨 |
gemma-3-12b-it-qat-IQ3_XS.gguf | IQ3_XS | 5.21GB | false | 低品質、Q3_K_Sよりやや優れた性能の新しい手法 |
gemma-3-12b-it-qat-Q2_K_L.gguf | Q2_K_L | 5.01GB | false | 埋め込みと出力ウェイトにQ8_0を使用。非常に低品質だが意外に使用可能 |
gemma-3-12b-it-qat-IQ3_XXS.gguf | IQ3_XXS | 4.78GB | false | 低品質、Q3量子化に匹敵する性能の新しい手法 |
gemma-3-12b-it-qat-Q2_K.gguf | Q2_K | 4.77GB | false | 非常に低品質だが意外に使用可能 |
gemma-3-12b-it-qat-IQ2_M.gguf | IQ2_M | 4.31GB | false | 比較的低品質だが、SOTA技術を使用して意外に使用可能 |
埋め込み/出力ウェイト
これらの量子化の一部(Q3_K_XL、Q4_K_Lなど)は、埋め込みと出力ウェイトが通常のデフォルトではなくQ8_0で量子化された標準的な量子化方法です。
huggingface-cliを使用したダウンロード
クリックしてダウンロード手順を表示
まず、hugginface-cliがインストールされていることを確認してください:
pip install -U "huggingface_hub[cli]"
次に、特定のファイルをターゲットにできます:
huggingface-cli download bartowski/google_gemma-3-12b-it-qat-GGUF --include "google_gemma-3-12b-it-qat-Q4_K_M.gguf" --local-dir ./
モデルが50GBより大きい場合、複数のファイルに分割されています。それらすべてをローカルフォルダにダウンロードするには、次を実行します:
huggingface-cli download bartowski/google_gemma-3-12b-it-qat-GGUF --include "google_gemma-3-12b-it-qat-Q8_0/*" --local-dir ./
新しいlocal-dir(google_gemma-3-12b-it-qat-Q8_0)を指定するか、すべてをその場(./)にダウンロードできます
ARM/AVX情報
以前はQ4_0_4_4/4_8/8_8をダウンロードし、これらのウェイトはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度に多くのデータをロードしていました。
しかし、現在はウェイトの「オンライン再パッキング」と呼ばれるものがあります。詳細はこのPRにあります。Q4_0を使用し、ハードウェアがウェイトの再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。
llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。
さらに、このPRにより、ARM用にウェイトを再パッキングするIQ4_NLを使用して、やや品質を向上させることができます(現時点では4_4のみ)。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。
クリックしてQ4_0_X_X情報を表示(非推奨)
このセクションは、Q4_0とオンライン再パッキングを使用した場合の潜在的な理論上のパフォーマンス向上を示すために保持しています。
クリックしてAVX2システム(EPYC7702)でのベンチマークを表示
モデル | サイズ | パラメータ | バックエンド | スレッド | テスト | t/s | % (vs Q4_0) |
---|---|---|---|---|---|---|---|
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp512 | 204.03 ± 1.03 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp1024 | 282.92 ± 0.19 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp2048 | 259.49 ± 0.44 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg128 | 39.12 ± 0.27 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg256 | 39.31 ± 0.69 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg512 | 40.52 ± 0.03 | 100% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp512 | 301.02 ± 1.74 | 147% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp1024 | 287.23 ± 0.20 | 101% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp2048 | 262.77 ± 1.81 | 101% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg128 | 18.80 ± 0.99 | 48% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg256 | 24.46 ± 3.04 | 83% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg512 | 36.32 ± 3.59 | 90% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp512 | 271.71 ± 3.53 | 133% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp1024 | 279.86 ± 45.63 | 100% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp2048 | 320.77 ± 5.00 | 124% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg128 | 43.51 ± 0.05 | 111% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg256 | 43.35 ± 0.09 | 110% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg512 | 42.60 ± 0.31 | 105% |
Q4_0_8_8はプロンプト処理を大幅に向上させ、テキスト生成もわずかに向上させます
どのファイルを選ぶべきか?
詳細はこちら
Artefact2によるさまざまなパフォーマンスを示すチャート付きの優れた説明がこちらにあります
最初に、実行できるモデルの大きさを把握する必要があります。これを行うには、RAMやVRAMの量を把握する必要があります。
モデルを可能な限り高速に実行したい場合は、モデル全体をGPUのVRAMに収めたいでしょう。GPUの総VRAMより1-2GB小さい量子化を目指してください。
絶対的な最高品質を求めたい場合は、システムRAMとGPUのVRAMを合計し、同様に合計より1-2GB小さい量子化を選択してください。
次に、「I-quant」または「K-quant」のどちらを使用するかを決定する必要があります。
あまり考えたくない場合は、K-quantのいずれかを選択してください。これらは「QX_K_X」形式で、Q5_K_Mなどです。
さらに詳しく知りたい場合は、この非常に便利な機能チャートを確認してください:
基本的に、Q4以下を目指していて、cuBLAS(Nvidia)またはrocBLAS(AMD)を実行している場合は、I-quantを検討する必要があります。これらはIQX_X形式で、IQ3_Mなどです。これらは新しく、サイズに対してより優れたパフォーマンスを提供します。
これらのI-quantはCPUでも使用できますが、K-quant相当よりも遅くなるため、速度とパフォーマンスのトレードオフを決定する必要があります。
クレジット
imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。
埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。
私の仕事を支援してくれたLM Studioに感謝します。
私の仕事をサポートしたいですか?私のko-fiページをご覧ください: https://ko-fi.com/bartowski



