Gemma 3 27b It GGUF

🚀 Gemma-3-27b-it-GGUF

Gemma-3-27b-it-GGUF 是一個經過量化處理的模型，基於 Google 的 Gemma-3-27b-it 模型，由 Second State Inc. 進行量化。該模型適用於圖像文本到文本的任務。

📦 安裝指南

此部分文檔未提供具體安裝步驟，若有相關需求，請參考官方文檔或社區資源。

✨ 主要特性

• 基礎模型：基於 google/gemma-3-27b-it 模型。
• 量化處理：由 Second State Inc. 進行量化，提供多種量化版本供選擇。
• 適用任務：適用於圖像文本到文本的任務。

💻 使用示例

基礎用法

與 LlamaEdge 一起運行

• LlamaEdge 版本：v0.18.5 及以上版本。
• 提示模板
  • 提示類型：gemma-3
  • 提示字符串

    <bos><start_of_turn>user
    {user_message}<end_of_turn>
    <start_of_turn>model
    {model_message}<end_of_turn>model
    

• 上下文大小：128000

以 LlamaEdge 服務形式運行

聊天

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-27b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000 \
  --model-name gemma-3-27b

圖像

⚠️ 重要提示

輸入圖像需要歸一化為 896 x 896 分辨率，並且每張圖像編碼為 256 個標記。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-27b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --llava-mmproj gemma-3-27b-it-mmproj.gguf \
  --ctx-size 128000 \
  --model-name gemma-3-27b

以 LlamaEdge 命令行應用程序形式運行

wasmedge --dir .:. \
  --nn-preload default:GGML:AUTO:gemma-3-27b-it-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000

📚 詳細文檔

原始模型

google/gemma-3-27b-it

量化模型

使用 llama.cpp b4875 進行量化

📄 許可證

本模型使用 gemma 許可證。具體許可條款請參考相關文檔。