Gemma 3 27b It Quantized W4A16

🚀 Gemma 3 量化模型

本項目包含了谷歌 Gemma 3 指令微調模型的 W4A16 量化版本，在保持良好性能的同時，讓這些模型更易於在消費級硬件上部署。

🚀 快速開始

若要在 Hugging Face 上使用 Gemma，你需要查看並同意谷歌的使用許可。請確保你已登錄 Hugging Face 並點擊下方按鈕，請求將立即處理。

⚠️ 重要提示

要訪問 Hugging Face 上的 Gemma，你需要查看並同意 Google 的使用許可。為此，請確保你已登錄 Hugging Face 並點擊下方按鈕。請求將立即處理。

✨ 主要特性

• 提供了不同規模的 Gemma 3 量化模型，包括 27B、12B 和 4B 版本。
• 使用 W4A16 量化，顯著降低了內存需求。

📦 安裝指南

暫未提供具體安裝步驟。

💻 使用示例

基礎用法

使用 vLLM 運行量化模型：

vllm serve abhishekchohan/gemma-3-{size}-it-quantized-W4A16 --chat-template templates/chat_template.jinja --enable-auto-tool-choice --tool-call-parser gemma --tool-parser-plugin tools/tool_parser.py

📚 詳細文檔

模型

• abhishekchohan/gemma-3-27b-it-quantized-W4A16
• abhishekchohan/gemma-3-12b-it-quantized-W4A16
• abhishekchohan/gemma-3-4b-it-quantized-W4A16

倉庫結構

gemma-3-{size}-it-quantized-W4A16/
├── README.md
├── templates/
│   └── chat_template.jinja
├── tools/
│   └── tool_parser.py
└── [model files]

量化細節

這些模型通過 LLM Compressor 使用 W4A16 量化：

• 權重量化為 4 位精度。
• 激活值使用 16 位精度。
• 顯著降低了內存需求。

🔧 技術細節

這些模型使用 W4A16 量化方式，藉助 LLM Compressor 工具實現。將權重量化到 4 位精度，而激活值採用 16 位精度，這樣的量化策略在保證模型性能的同時，能顯著減少內存需求，使得模型更適合在消費級硬件上部署。

📄 許可證

這些模型遵循 Gemma 許可協議。用戶在使用模型前必須確認並接受許可條款。

📚 引用

@article{gemma_2025,
    title={Gemma 3},
    url={https://goo.gle/Gemma3Report},
    publisher={Kaggle},
    author={Gemma Team},
    year={2025}
}