Medgemma 4b It GGUF

🚀 medgemma-4b-it-GGUF

本項目是 medgemma-4b-it 模型的量化版本，可通過 LlamaEdge 運行，適用於醫療、放射學等多個領域的圖像文本處理任務。

🚀 快速開始

原模型

原模型為 google/medgemma-4b-it。

使用 LlamaEdge 運行

• LlamaEdge 版本：v0.18.5 及以上

• 提示模板

  • 提示類型：gemma-3
  • 提示字符串

    <bos><start_of_turn>user
    {user_message}<end_of_turn>
    <start_of_turn>model
    {model_message}<end_of_turn>model
    

• 上下文大小：128000

作為 LlamaEdge 服務運行

聊天

wasmedge --dir .:. --nn-preload default:GGML:AUTO:medgemma-4b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000 \
  --model-name medgemma-4b

圖像

⚠️ 重要提示

輸入圖像需要歸一化為 896 x 896 分辨率，並編碼為每個 256 個標記。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:medgemma-4b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --llava-mmproj medgemma-4b-it-mmproj-f16.gguf \
  --ctx-size 128000 \
  --model-name medgemma-4b

作為 LlamaEdge 命令行應用運行

wasmedge --dir .:. \
  --nn-preload default:GGML:AUTO:medgemma-4b-it-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000

📦 量化的 GGUF 模型

使用 llama.cpp b5452 進行量化

📄 許可證

• 許可證類型：other
• 許可證名稱：health-ai-developer-foundations
• 許可證鏈接：https://developers.google.com/health-ai-developer-foundations/terms

📚 詳細信息