Gemma 3 4b It GGUF

🚀 Gemma-3-4b-it-GGUF

本項目提供了對 Gemma-3-4b-it 模型的量化處理，使其能在 LlamaEdge 上運行，可用於圖像文本到文本的轉換任務。

🚀 快速開始

原模型

原模型為 google/gemma-3-4b-it。

使用 LlamaEdge 運行

• LlamaEdge 版本：需使用 v0.18.5 及以上版本。
• 提示模板
  • 提示類型：gemma-3
  • 提示字符串

    <bos><start_of_turn>user
    {user_message}<end_of_turn>
    <start_of_turn>model
    {model_message}<end_of_turn>model
    

• 上下文大小：128000

作為 LlamaEdge 服務運行

聊天

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-4b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000 \
  --model-name gemma-3-4b

圖像

⚠️ 重要提示

輸入圖像需要歸一化為 896 x 896 分辨率，並編碼為每個 256 個標記。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-4b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --llava-mmproj gemma-3-4b-it-mmproj-f16.gguf \
  --ctx-size 128000 \
  --model-name gemma-3-4b

作為 LlamaEdge 命令行應用運行

wasmedge --dir .:. \
  --nn-preload default:GGML:AUTO:gemma-3-4b-it-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000

📦 安裝指南

文檔未提及具體安裝步驟，可參考原模型和 LlamaEdge 的官方文檔進行安裝。

💻 使用示例

基礎用法

上述作為 LlamaEdge 服務運行和作為 LlamaEdge 命令行應用運行的代碼示例，即為基礎的使用方式。

📚 詳細文檔

量化後的 GGUF 模型

使用 llama.cpp b4875 進行量化

📄 許可證

本項目使用 gemma 許可證。

📋 模型信息