Gemma 3 27b It Quantized W4A16

🚀 Gemma 3 量子化モデル

このリポジトリには、GoogleのGemma 3命令微調整モデルのW4A16量子化バージョンが含まれています。これにより、良好なパフォーマンスを維持しながら、一般消費者向けハードウェアでのデプロイがより容易になります。

🚀 クイックスタート

このリポジトリの量子化モデルを使用することで、一般的なハードウェアでもGemma 3モデルを活用できます。以下に各セクションで詳細を説明します。

✨ 主な機能

• 量子化モデルの提供：W4A16量子化を用いたGemma 3モデルを提供し、メモリ要件を大幅に削減。
• vLLMでの利用可能：vLLMを使用して簡単にモデルをサーブできる。

📦 インストール

このリポジトリでは、モデルを直接利用するためのインストール手順は特に必要ありません。ただし、vLLMでモデルをサーブする場合は、vLLMのインストールが必要です。

💻 使用例

基本的な使用法

vllm serve abhishekchohan/gemma-3-{size}-it-quantized-W4A16 --chat-template templates/chat_template.jinja --enable-auto-tool-choice --tool-call-parser gemma --tool-parser-plugin tools/tool_parser.py

📚 ドキュメント

モデル

• abhishekchohan/gemma-3-27b-it-quantized-W4A16
• abhishekchohan/gemma-3-12b-it-quantized-W4A16
• abhishekchohan/gemma-3-4b-it-quantized-W4A16

リポジトリ構造

gemma-3-{size}-it-quantized-W4A16/
├── README.md
├── templates/
│   └── chat_template.jinja
├── tools/
│   └── tool_parser.py
└── [model files]

量子化の詳細

これらのモデルは、LLM Compressorを介してW4A16量子化を使用しています。

• 重みは4ビット精度に量子化
• 活性化関数は16ビット精度を使用
• メモリ要件が大幅に削減

🔧 技術詳細

このリポジトリの量子化モデルは、LLM Compressorを用いてW4A16量子化を行っています。これにより、重みを4ビット精度に量子化し、活性化関数を16ビット精度で保持することで、メモリ使用量を大幅に削減しています。

📄 ライセンス

これらのモデルはGemmaライセンスの対象となります。モデルを使用する前に、ユーザーはライセンス条項を承認し受け入れる必要があります。

アクセスに関する注意事項

⚠️ 重要提示

Hugging FaceでGemmaにアクセスするには、Googleの使用許諾契約を確認して同意する必要があります。これを行うには、Hugging Faceにログインし、下のボタンをクリックしてください。リクエストはすぐに処理されます。

引用

@article{gemma_2025,
    title={Gemma 3},
    url={https://goo.gle/Gemma3Report},
    publisher={Kaggle},
    author={Gemma Team},
    year={2025}
}