Gemma 3 12b It Qat 3bit

🚀 mlx-community/gemma-3-12b-it-qat-3bit

本模型使用mlx-vlm版本 0.1.25 从 google/gemma-3-12b-it-qat-q4_0-unquantized 转换为MLX格式。如需了解该模型的更多详细信息，请参考原始模型卡片。

🚀 快速开始

📦 安装指南

要使用此模型，首先需要安装mlx-vlm库：

pip install -U mlx-vlm

💻 使用示例

基础用法

安装完成后，你可以使用以下命令生成文本：

python -m mlx_vlm.generate --model mlx-community/gemma-3-12b-it-qat-3bit --max-tokens 100 --temperature 0.0 --prompt "Describe this image." --image <path_to_image>

📄 许可证

本项目采用 qwen 许可证。

📋 模型信息