Gemma 3 12b It GGUF

🚀 google/gemma-3-12b-it - GGUF

本倉庫包含 google/gemma-3-12b-it 的 GGUF 格式模型文件。這些文件由 TensorBlock 提供的機器進行量化，並且與 llama.cpp 兼容，兼容版本為 提交 b4882。

🚀 快速開始

下載說明

命令行方式

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/gemma-3-12b-it-GGUF --include "gemma-3-12b-it-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式下載多個模型文件（例如，*Q4_K*gguf），可以嘗試以下命令：

huggingface-cli download tensorblock/gemma-3-12b-it-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

✨ 主要特性

• 本倉庫提供了 google/gemma-3-12b-it 的 GGUF 格式模型文件。
• 文件由 TensorBlock 提供的機器進行量化。
• 與 llama.cpp 兼容，兼容版本為 提交 b4882。

📦 安裝指南

訪問 Gemma

要在 Hugging Face 上訪問 Gemma，你需要查看並同意 Google 的使用許可。請確保你已登錄 Hugging Face，然後點擊下方按鈕。請求將立即處理。 確認許可

下載模型文件

請參考“快速開始”部分的下載說明。

📚 詳細文檔

我們的項目

項目名稱	項目描述	項目圖片	項目鏈接
Awesome MCP Servers	一個全面的模型上下文協議（MCP）服務器集合。		GitHub
TensorBlock Studio	一個輕量級、開放且可擴展的多大語言模型交互工作室。		GitHub

提示模板

<bos><start_of_turn>user
{system_prompt}

{prompt}<end_of_turn>
<start_of_turn>model

模型文件規格

📄 許可證

本項目使用的許可證為 gemma。