Gemma 3 4b It Quantized W4A16

🚀 Gemma 3 量子化モデル

このリポジトリには、GoogleのGemma 3命令微調整モデルのW4A16量子化バージョンが含まれています。これにより、良好なパフォーマンスを維持しながら、一般消費者向けのハードウェアでのデプロイが容易になります。

🚀 クイックスタート

このリポジトリでは、GoogleのGemma 3命令微調整モデルの量子化バージョンを提供しています。以下の手順で使用を開始できます。

✨ 主な機能

• 一般消費者向けハードウェアでのデプロイが容易
• 良好なパフォーマンスを維持

📚 ドキュメント

🔍 モデル

• abhishekchohan/gemma-3-27b-it-quantized-W4A16
• abhishekchohan/gemma-3-12b-it-quantized-W4A16
• abhishekchohan/gemma-3-4b-it-quantized-W4A16

📁 リポジトリ構造

gemma-3-{size}-it-quantized-W4A16/
├── README.md
├── templates/
│   └── chat_template.jinja
├── tools/
│   └── tool_parser.py
└── [model files]

🔧 量子化の詳細

これらのモデルは、LLM Compressorを介したW4A16量子化を使用しています。

• 重みは4ビット精度に量子化
• 活性化関数は16ビット精度を使用
• メモリ要件が大幅に削減

💻 使用例

基本的な使用法

vllm serve abhishekchohan/gemma-3-{size}-it-quantized-W4A16 --chat-template templates/chat_template.jinja --enable-auto-tool-choice --tool-call-parser gemma --tool-parser-plugin tools/tool_parser.py

📄 ライセンス

これらのモデルはGemmaライセンスの対象となります。ユーザーはモデルを使用する前に、ライセンス条項を承認し受け入れる必要があります。

📚 引用

@article{gemma_2025,
    title={Gemma 3},
    url={https://goo.gle/Gemma3Report},
    publisher={Kaggle},
    author={Gemma Team},
    year={2025}
}

⚠️ 重要提示

Hugging FaceでGemmaにアクセスするには、Googleの使用許諾契約を確認して同意する必要があります。これを行うには、Hugging Faceにログインし、以下をクリックしてください。リクエストはすぐに処理されます。

💡 使用建议

モデルを使用する前に、Gemmaのライセンス条項を必ず確認して承認してください。