Medgemma 4b It GGUF

🚀 medgemma-4b-it-GGUF

このプロジェクトは、Googleによる医療用モデル medgemma-4b-it を量子化したGGUF形式のモデルを提供します。LlamaEdgeを使用してこのモデルを実行する方法や、量子化されたモデルの情報が含まれています。

🚀 クイックスタート

元のモデル

google/medgemma-4b-it

LlamaEdgeでの実行

• LlamaEdgeバージョン: v0.18.5 以上

• プロンプトテンプレート

  • プロンプトタイプ: gemma-3
  • プロンプト文字列

    <bos><start_of_turn>user
    {user_message}<end_of_turn>
    <start_of_turn>model
    {model_message}<end_of_turn>model
    

• コンテキストサイズ: 128000

• LlamaEdgeサービスとして実行

  • チャット

    wasmedge --dir .:. --nn-preload default:GGML:AUTO:medgemma-4b-it-Q5_K_M.gguf \
      llama-api-server.wasm \
      --prompt-template gemma-3 \
      --ctx-size 128000 \
      --model-name medgemma-4b
    

  • 画像

    ⚠️ 重要提示

    入力画像は896 x 896の解像度に正規化され、それぞれ256トークンにエンコードする必要があります。

    wasmedge --dir .:. --nn-preload default:GGML:AUTO:medgemma-4b-it-Q5_K_M.gguf \
      llama-api-server.wasm \
      --prompt-template gemma-3 \
      --llava-mmproj medgemma-4b-it-mmproj-f16.gguf \
      --ctx-size 128000 \
      --model-name medgemma-4b
    

• LlamaEdgeコマンドアプリとして実行

  wasmedge --dir .:. \
    --nn-preload default:GGML:AUTO:medgemma-4b-it-Q5_K_M.gguf \
    llama-chat.wasm \
    --prompt-template gemma-3 \
    --ctx-size 128000
  

📦 モデル情報

📦 量子化されたGGUFモデル

llama.cpp b5452で量子化されました

📄 ライセンス

このプロジェクトは、health-ai-developer-foundationsライセンスの下で提供されています。詳細は https://developers.google.com/health-ai-developer-foundations/terms を参照してください。