Gemma 3 12b It GGUF

🚀 google/gemma-3-12b-it - GGUF

本仓库包含 google/gemma-3-12b-it 的 GGUF 格式模型文件。这些文件由 TensorBlock 提供的机器进行量化，并且与 llama.cpp 兼容，兼容版本为 提交 b4882。

🚀 快速开始

下载说明

命令行方式

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/gemma-3-12b-it-GGUF --include "gemma-3-12b-it-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式下载多个模型文件（例如，*Q4_K*gguf），可以尝试以下命令：

huggingface-cli download tensorblock/gemma-3-12b-it-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

✨ 主要特性

• 本仓库提供了 google/gemma-3-12b-it 的 GGUF 格式模型文件。
• 文件由 TensorBlock 提供的机器进行量化。
• 与 llama.cpp 兼容，兼容版本为 提交 b4882。

📦 安装指南

访问 Gemma

要在 Hugging Face 上访问 Gemma，你需要查看并同意 Google 的使用许可。请确保你已登录 Hugging Face，然后点击下方按钮。请求将立即处理。 确认许可

下载模型文件

请参考“快速开始”部分的下载说明。

📚 详细文档

我们的项目

项目名称	项目描述	项目图片	项目链接
Awesome MCP Servers	一个全面的模型上下文协议（MCP）服务器集合。		GitHub
TensorBlock Studio	一个轻量级、开放且可扩展的多大语言模型交互工作室。		GitHub

提示模板

<bos><start_of_turn>user
{system_prompt}

{prompt}<end_of_turn>
<start_of_turn>model

模型文件规格

📄 许可证

本项目使用的许可证为 gemma。