Medgemma 4b It GGUF

🚀 medgemma-4b-it-GGUF

本项目是 medgemma-4b-it 模型的量化版本，可通过 LlamaEdge 运行，适用于医疗、放射学等多个领域的图像文本处理任务。

🚀 快速开始

原模型

原模型为 google/medgemma-4b-it。

使用 LlamaEdge 运行

• LlamaEdge 版本：v0.18.5 及以上

• 提示模板

  • 提示类型：gemma-3
  • 提示字符串

    <bos><start_of_turn>user
    {user_message}<end_of_turn>
    <start_of_turn>model
    {model_message}<end_of_turn>model
    

• 上下文大小：128000

作为 LlamaEdge 服务运行

聊天

wasmedge --dir .:. --nn-preload default:GGML:AUTO:medgemma-4b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000 \
  --model-name medgemma-4b

图像

⚠️ 重要提示

输入图像需要归一化为 896 x 896 分辨率，并编码为每个 256 个标记。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:medgemma-4b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --llava-mmproj medgemma-4b-it-mmproj-f16.gguf \
  --ctx-size 128000 \
  --model-name medgemma-4b

作为 LlamaEdge 命令行应用运行

wasmedge --dir .:. \
  --nn-preload default:GGML:AUTO:medgemma-4b-it-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000

📦 量化的 GGUF 模型

使用 llama.cpp b5452 进行量化

📄 许可证

• 许可证类型：other
• 许可证名称：health-ai-developer-foundations
• 许可证链接：https://developers.google.com/health-ai-developer-foundations/terms

📚 详细信息