google_gemma - 3 - 12b - it - QAT - GGUF開源模型 - 多量化版本適配不同硬件需求

首頁

Google Gemma 3 12b It Qat GGUF

由bartowski開發

基於Google QAT（量化感知訓練）權重量化的Gemma-3-12b模型，提供多種量化版本以適應不同硬件需求。

大型語言模型 #量化感知訓練 #多精度量化 #輕量級推理

下載量 10.78k

發布時間 : 4/18/2025

模型概述

該模型是Google Gemma-3-12b的量化版本，採用量化感知訓練技術生成，支持多種量化格式，適用於不同計算資源場景。

模型特點

量化感知訓練

基於QAT技術生成，預期在量化後仍保持較高性能。

多量化版本

提供從Q2到Q8的多種量化版本，適應不同硬件和性能需求。

ARM和AVX支持

部分量化版本特別優化支持ARM和AVX CPU架構。

imatrix量化

使用imatrix選項進行量化，數據集來自公開資源。

模型能力

文本生成

對話系統

指令跟隨

使用案例

對話系統

智能助手

構建響應自然的對話助手

可根據量化版本不同獲得不同質量的響應

內容生成

創意寫作

生成故事、詩歌等創意內容

🚀 Google Gemma-3-12B-IT-QAT的Llamacpp imatrix量化版本

本項目是基於Google提供的QAT（量化感知訓練）權重進行量化處理的。主要提供了Google Gemma-3-12B-IT-QAT模型的多種量化版本，方便不同硬件條件和需求的用戶使用。

🚀 快速開始

這些量化版本衍生自Google提供的QAT（量化感知訓練）權重。

僅Q4_0預計會有更好的效果，但在處理過程中也生成了其他量化類型，以探索不同的可能性。
gemma-3-12b-it-qat-Q4_0.gguf | Q4_0 | 6.91GB | false | 由於採用了QAT，性能應有所提升，支持為ARM和AVX CPU推理進行在線重新打包。

使用 llama.cpp 版本 b5147 進行量化。

原始模型：https://huggingface.co/google/gemma-3-12b-it-qat-q4_0-unquantized

所有量化版本均使用imatrix選項和來自此處的數據集生成。

可以在 LM Studio 中運行這些量化版本，也可以直接使用 llama.cpp 或任何基於llama.cpp的項目運行。

✨ 主要特性

多種量化類型：提供了豐富的量化類型，如bf16、Q8_0、Q6_K_L等，滿足不同用戶對模型質量和文件大小的需求。
在線重新打包：部分量化版本（如Q4_0）支持在線重新打包權重，可自動提升ARM和AVX機器的性能。
詳細的選擇指南：為用戶提供了選擇合適量化版本的詳細指南，幫助用戶根據自身硬件條件和需求進行選擇。

📦 安裝指南

使用huggingface-cli下載

首先，確保你已經安裝了huggingface-cli：

pip install -U "huggingface_hub[cli]"

然後，你可以指定要下載的具體文件：

huggingface-cli download bartowski/google_gemma-3-12b-it-qat-GGUF --include "google_gemma-3-12b-it-qat-Q4_K_M.gguf" --local-dir ./

如果模型大小超過50GB，它會被分割成多個文件。要將它們全部下載到本地文件夾，請運行：

huggingface-cli download bartowski/google_gemma-3-12b-it-qat-GGUF --include "google_gemma-3-12b-it-qat-Q8_0/*" --local-dir ./

你可以指定一個新的本地目錄（如google_gemma-3-12b-it-qat-Q8_0），也可以將它們下載到當前目錄（./）。

💻 使用示例

基礎用法

提示格式

<bos><start_of_turn>user
{system_prompt}

{prompt}<end_of_turn>
<start_of_turn>model
<end_of_turn>
<start_of_turn>model

📚 詳細文檔

下載文件

可以從以下表格中選擇要下載的文件：

文件名	量化類型	文件大小	分割情況	描述
gemma-3-12b-it-qat-bf16.gguf	bf16	23.54GB	false	完整的BF16權重。
gemma-3-12b-it-qat-Q8_0.gguf	Q8_0	12.51GB	false	極高質量，通常不需要，但提供了最大可用的量化。
gemma-3-12b-it-qat-Q6_K_L.gguf	Q6_K_L	9.90GB	false	嵌入和輸出權重使用Q8_0。非常高質量，接近完美，推薦。
gemma-3-12b-it-qat-Q6_K.gguf	Q6_K	9.66GB	false	非常高質量，接近完美，推薦。
gemma-3-12b-it-qat-Q5_K_L.gguf	Q5_K_L	8.69GB	false	嵌入和輸出權重使用Q8_0。高質量，推薦。
gemma-3-12b-it-qat-Q5_K_M.gguf	Q5_K_M	8.45GB	false	高質量，推薦。
gemma-3-12b-it-qat-Q5_K_S.gguf	Q5_K_S	8.23GB	false	高質量，推薦。
gemma-3-12b-it-qat-Q4_1.gguf	Q4_1	7.56GB	false	舊格式，性能與Q4_K_S相似，但在Apple硅芯片上的每瓦令牌數有所提高。
gemma-3-12b-it-qat-Q4_K_L.gguf	Q4_K_L	7.54GB	false	嵌入和輸出權重使用Q8_0。質量良好，推薦。
gemma-3-12b-it-qat-Q4_K_M.gguf	Q4_K_M	7.30GB	false	質量良好，是大多數用例的默認大小，推薦。
gemma-3-12b-it-qat-Q4_K_S.gguf	Q4_K_S	6.94GB	false	質量稍低，但節省更多空間，推薦。
gemma-3-12b-it-qat-Q4_0.gguf	Q4_0	6.91GB	false	舊格式，為ARM和AVX CPU推理提供在線重新打包。
gemma-3-12b-it-qat-IQ4_NL.gguf	IQ4_NL	6.89GB	false	與IQ4_XS相似，但稍大。為ARM CPU推理提供在線重新打包。
gemma-3-12b-it-qat-Q3_K_XL.gguf	Q3_K_XL	6.72GB	false	嵌入和輸出權重使用Q8_0。質量較低但可用，適合低內存情況。
gemma-3-12b-it-qat-IQ4_XS.gguf	IQ4_XS	6.55GB	false	質量不錯，比Q4_K_S小，性能相似，推薦。
gemma-3-12b-it-qat-Q3_K_L.gguf	Q3_K_L	6.48GB	false	質量較低但可用，適合低內存情況。
gemma-3-12b-it-qat-Q3_K_M.gguf	Q3_K_M	6.01GB	false	低質量。
gemma-3-12b-it-qat-IQ3_M.gguf	IQ3_M	5.66GB	false	中低質量，新方法，性能與Q3_K_M相當。
gemma-3-12b-it-qat-Q3_K_S.gguf	Q3_K_S	5.46GB	false	低質量，不推薦。
gemma-3-12b-it-qat-IQ3_XS.gguf	IQ3_XS	5.21GB	false	質量較低，新方法，性能不錯，略優於Q3_K_S。
gemma-3-12b-it-qat-Q2_K_L.gguf	Q2_K_L	5.01GB	false	嵌入和輸出權重使用Q8_0。質量非常低，但出人意料地可用。
gemma-3-12b-it-qat-IQ3_XXS.gguf	IQ3_XXS	4.78GB	false	質量較低，新方法，性能不錯，與Q3量化相當。
gemma-3-12b-it-qat-Q2_K.gguf	Q2_K	4.77GB	false	質量非常低，但出人意料地可用。
gemma-3-12b-it-qat-IQ2_M.gguf	IQ2_M	4.31GB	false	質量相對較低，使用了最先進的技術，出人意料地可用。