google_gemma - 3 - 12b - it - QAT - GGUF开源模型 - 多量化版本适配不同硬件需求

首页

Google Gemma 3 12b It Qat GGUF

由 bartowski 开发

基于Google QAT（量化感知训练）权重量化的Gemma-3-12b模型，提供多种量化版本以适应不同硬件需求。

大型语言模型 #量化感知训练 #多精度量化 #轻量级推理

下载量 10.78k

发布时间 : 4/18/2025

模型简介

该模型是Google Gemma-3-12b的量化版本，采用量化感知训练技术生成，支持多种量化格式，适用于不同计算资源场景。

模型特点

量化感知训练

基于QAT技术生成，预期在量化后仍保持较高性能。

多量化版本

提供从Q2到Q8的多种量化版本，适应不同硬件和性能需求。

ARM和AVX支持

部分量化版本特别优化支持ARM和AVX CPU架构。

imatrix量化

使用imatrix选项进行量化，数据集来自公开资源。

模型能力

文本生成

对话系统

指令跟随

使用案例

对话系统

智能助手

构建响应自然的对话助手

可根据量化版本不同获得不同质量的响应

内容生成

创意写作

生成故事、诗歌等创意内容

🚀 Google Gemma-3-12B-IT-QAT的Llamacpp imatrix量化版本

本项目是基于Google提供的QAT（量化感知训练）权重进行量化处理的。主要提供了Google Gemma-3-12B-IT-QAT模型的多种量化版本，方便不同硬件条件和需求的用户使用。

🚀 快速开始

这些量化版本衍生自Google提供的QAT（量化感知训练）权重。

仅Q4_0预计会有更好的效果，但在处理过程中也生成了其他量化类型，以探索不同的可能性。
gemma-3-12b-it-qat-Q4_0.gguf | Q4_0 | 6.91GB | false | 由于采用了QAT，性能应有所提升，支持为ARM和AVX CPU推理进行在线重新打包。

使用 llama.cpp 版本 b5147 进行量化。

原始模型：https://huggingface.co/google/gemma-3-12b-it-qat-q4_0-unquantized

所有量化版本均使用imatrix选项和来自此处的数据集生成。

可以在 LM Studio 中运行这些量化版本，也可以直接使用 llama.cpp 或任何基于llama.cpp的项目运行。

✨ 主要特性

多种量化类型：提供了丰富的量化类型，如bf16、Q8_0、Q6_K_L等，满足不同用户对模型质量和文件大小的需求。
在线重新打包：部分量化版本（如Q4_0）支持在线重新打包权重，可自动提升ARM和AVX机器的性能。
详细的选择指南：为用户提供了选择合适量化版本的详细指南，帮助用户根据自身硬件条件和需求进行选择。

📦 安装指南

使用huggingface-cli下载

首先，确保你已经安装了huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后，你可以指定要下载的具体文件：

huggingface-cli download bartowski/google_gemma-3-12b-it-qat-GGUF --include "google_gemma-3-12b-it-qat-Q4_K_M.gguf" --local-dir ./

如果模型大小超过50GB，它会被分割成多个文件。要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/google_gemma-3-12b-it-qat-GGUF --include "google_gemma-3-12b-it-qat-Q8_0/*" --local-dir ./

你可以指定一个新的本地目录（如google_gemma-3-12b-it-qat-Q8_0），也可以将它们下载到当前目录（./）。

💻 使用示例

基础用法

提示格式

<bos><start_of_turn>user
{system_prompt}

{prompt}<end_of_turn>
<start_of_turn>model
<end_of_turn>
<start_of_turn>model

📚 详细文档

下载文件

可以从以下表格中选择要下载的文件：

文件名	量化类型	文件大小	分割情况	描述
gemma-3-12b-it-qat-bf16.gguf	bf16	23.54GB	false	完整的BF16权重。
gemma-3-12b-it-qat-Q8_0.gguf	Q8_0	12.51GB	false	极高质量，通常不需要，但提供了最大可用的量化。
gemma-3-12b-it-qat-Q6_K_L.gguf	Q6_K_L	9.90GB	false	嵌入和输出权重使用Q8_0。非常高质量，接近完美，推荐。
gemma-3-12b-it-qat-Q6_K.gguf	Q6_K	9.66GB	false	非常高质量，接近完美，推荐。
gemma-3-12b-it-qat-Q5_K_L.gguf	Q5_K_L	8.69GB	false	嵌入和输出权重使用Q8_0。高质量，推荐。
gemma-3-12b-it-qat-Q5_K_M.gguf	Q5_K_M	8.45GB	false	高质量，推荐。
gemma-3-12b-it-qat-Q5_K_S.gguf	Q5_K_S	8.23GB	false	高质量，推荐。
gemma-3-12b-it-qat-Q4_1.gguf	Q4_1	7.56GB	false	旧格式，性能与Q4_K_S相似，但在Apple硅芯片上的每瓦令牌数有所提高。
gemma-3-12b-it-qat-Q4_K_L.gguf	Q4_K_L	7.54GB	false	嵌入和输出权重使用Q8_0。质量良好，推荐。
gemma-3-12b-it-qat-Q4_K_M.gguf	Q4_K_M	7.30GB	false	质量良好，是大多数用例的默认大小，推荐。
gemma-3-12b-it-qat-Q4_K_S.gguf	Q4_K_S	6.94GB	false	质量稍低，但节省更多空间，推荐。
gemma-3-12b-it-qat-Q4_0.gguf	Q4_0	6.91GB	false	旧格式，为ARM和AVX CPU推理提供在线重新打包。
gemma-3-12b-it-qat-IQ4_NL.gguf	IQ4_NL	6.89GB	false	与IQ4_XS相似，但稍大。为ARM CPU推理提供在线重新打包。
gemma-3-12b-it-qat-Q3_K_XL.gguf	Q3_K_XL	6.72GB	false	嵌入和输出权重使用Q8_0。质量较低但可用，适合低内存情况。
gemma-3-12b-it-qat-IQ4_XS.gguf	IQ4_XS	6.55GB	false	质量不错，比Q4_K_S小，性能相似，推荐。
gemma-3-12b-it-qat-Q3_K_L.gguf	Q3_K_L	6.48GB	false	质量较低但可用，适合低内存情况。
gemma-3-12b-it-qat-Q3_K_M.gguf	Q3_K_M	6.01GB	false	低质量。
gemma-3-12b-it-qat-IQ3_M.gguf	IQ3_M	5.66GB	false	中低质量，新方法，性能与Q3_K_M相当。
gemma-3-12b-it-qat-Q3_K_S.gguf	Q3_K_S	5.46GB	false	低质量，不推荐。
gemma-3-12b-it-qat-IQ3_XS.gguf	IQ3_XS	5.21GB	false	质量较低，新方法，性能不错，略优于Q3_K_S。
gemma-3-12b-it-qat-Q2_K_L.gguf	Q2_K_L	5.01GB	false	嵌入和输出权重使用Q8_0。质量非常低，但出人意料地可用。
gemma-3-12b-it-qat-IQ3_XXS.gguf	IQ3_XXS	4.78GB	false	质量较低，新方法，性能不错，与Q3量化相当。
gemma-3-12b-it-qat-Q2_K.gguf	Q2_K	4.77GB	false	质量非常低，但出人意料地可用。
gemma-3-12b-it-qat-IQ2_M.gguf	IQ2_M	4.31GB	false	质量相对较低，使用了最先进的技术，出人意料地可用。