Gemma 3 12b It GGUF

🚀 Gemma-3-12b-it-GGUF

本項目提供了對Google的Gemma-3-12b-it模型進行量化後的GGUF格式模型，可通過LlamaEdge運行，為圖像文本到文本的處理任務提供支持。

🚀 快速開始

運行環境

• LlamaEdge版本需為 v0.16.1 及以上。

提示模板

• 提示類型：gemma-instruct
• 提示字符串

<bos><start_of_turn>user
{user_message}<end_of_turn>
<start_of_turn>model
{model_message}<end_of_turn>model

上下文大小

128000

以LlamaEdge服務形式運行

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-instruct \
  --ctx-size 128000 \
  --model-name gemma-3-12b

以LlamaEdge命令行應用形式運行

wasmedge --dir .:. \
  --nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template gemma-instruct \
  --ctx-size 128000

✨ 主要特性

原始模型

基於Google的 google/gemma-3-12b-it 模型。

量化模型

提供多種量化方式的GGUF格式模型，可根據不同需求選擇合適的模型。

使用llama.cpp b4875進行量化

📄 許可證

本項目使用 gemma 許可證。

📚 詳細文檔

模型信息