Gemma 3 4b It Quantized W4A16

🚀 Gemma 3 量化模型

本倉庫包含谷歌 Gemma 3 指令微調模型的 W4A16 量化版本，在保持良好性能的同時，使這些模型更易於在消費級硬件上部署。

✨ 主要特性

• 提供了谷歌 Gemma 3 指令微調模型的量化版本，降低了對硬件的要求，便於在消費級設備上使用。
• 採用 W4A16 量化方式，在減少內存需求的同時，維持了較好的性能。

📦 安裝指南

暫未提供安裝步驟相關內容，可根據實際使用的框架和環境進行安裝。

💻 使用示例

基礎用法

使用 vLLM 運行模型的示例命令如下：

vllm serve abhishekchohan/gemma-3-{size}-it-quantized-W4A16 --chat-template templates/chat_template.jinja --enable-auto-tool-choice --tool-call-parser gemma --tool-parser-plugin tools/tool_parser.py

📚 詳細文檔

模型列表

• abhishekchohan/gemma-3-27b-it-quantized-W4A16
• abhishekchohan/gemma-3-12b-it-quantized-W4A16
• abhishekchohan/gemma-3-4b-it-quantized-W4A16

倉庫結構

gemma-3-{size}-it-quantized-W4A16/
├── README.md
├── templates/
│   └── chat_template.jinja
├── tools/
│   └── tool_parser.py
└── [model files]

量化細節

這些模型通過 LLM Compressor 使用 W4A16 量化：

• 權重量化為 4 位精度
• 激活值使用 16 位精度
• 顯著降低了內存需求

🔧 技術細節

本倉庫中的模型採用了 W4A16 量化技術，通過 LLM Compressor 工具實現。這種量化方式將模型的權重量化為 4 位精度，而激活值使用 16 位精度，在保證模型性能的前提下，大幅減少了內存需求，使得模型能夠在消費級硬件上更輕鬆地部署。

📄 許可證

這些模型遵循 Gemma 許可證。用戶在使用模型之前，必須確認並接受許可證條款。

📚 引用

@article{gemma_2025,
    title={Gemma 3},
    url={https://goo.gle/Gemma3Report},
    publisher={Kaggle},
    author={Gemma Team},
    year={2025}
}

⚠️ 重要提示

要在 Hugging Face 上訪問 Gemma，您需要查看並同意 Google 的使用許可。為此，請確保您已登錄 Hugging Face 並點擊下方按鈕。請求將立即處理。

💡 使用建議

在使用這些量化模型時，可根據自身硬件條件選擇合適的模型大小，以獲得最佳的性能和體驗。