Google medgemma - 27b - it開源模型 - 免費部署實現醫療圖像與文本轉換

首頁

Google Medgemma 27b It GGUF

由bartowski開發

這是Google medgemma - 27b - it模型的Llamacpp imatrix量化版本，主要應用於醫療領域的圖像-文本轉換任務。

圖像生成文本英語開源協議:其他 #醫療圖像-文本轉換 #放射報告生成 #零樣本圖像分類

下載量 390

發布時間 : 7/12/2025

模型概述

該模型專為醫療領域設計，支持X光、病理學、皮膚病學、眼底檢查等醫療圖像的文本轉換、放射報告生成和圖像分類等任務。

模型特點

醫療領域專用

專門針對醫療圖像分析優化，適用於X光、病理學等多種醫療場景。

高效量化

使用Llamacpp imatrix技術進行量化，在保持性能的同時減少模型大小。

多任務支持

支持圖像-文本轉換、報告生成和分類等多種醫療相關任務。

模型能力

醫療圖像分析

放射報告生成

零樣本圖像分類

圖像特徵提取

圖像-文本轉換

使用案例

醫療診斷

X光片分析

分析胸部X光片並生成診斷報告

自動生成結構化的放射學報告

皮膚病分類

根據皮膚病變圖像進行分類診斷

提供可能的皮膚病類型預測

醫療文檔

放射報告生成

根據醫學影像自動生成放射學報告

提高放射科醫生的工作效率

🚀 Google medgemma - 27b - it的Llamacpp imatrix量化版本

本項目是對Google的medgemma - 27b - it模型進行的Llamacpp imatrix量化。該模型主要應用於醫療領域，如X光、病理學、皮膚病學、眼底檢查等方面，可進行圖像 - 文本轉換、放射報告生成、圖像分類等任務。

訪問說明

要在Hugging Face上訪問MedGemma，你需要查看並同意[Health AI Developer Foundation的使用條款](https://developers.google.com/health - ai - developer - foundations/terms)。請確保你已登錄Hugging Face，然後點擊下方按鈕。請求將立即處理。

模型信息

屬性	詳情
量化者	bartowski
模型類型	圖像 - 文本轉換
標籤	醫療、X光、病理學、皮膚病學、眼底、放射報告生成、胸部X光、醫療嵌入、圖像分類、零樣本圖像分類、圖像特徵提取、圖像 - 文本轉換
許可證名稱	health - ai - developer - foundations
基礎模型	google/medgemma - 27b - it
基礎模型關係	量化版本
許可證鏈接	https://developers.google.com/health - ai - developer - foundations/terms

🚀 快速開始

量化信息

使用 llama.cpp 版本 b5868 進行量化。原始模型：https://huggingface.co/google/medgemma - 27b - it 所有量化均使用imatrix選項，並使用來自此處的數據集。

運行方式

可以在LM Studio中運行。
也可以直接使用llama.cpp或任何基於llama.cpp的項目運行。

✨ 主要特性

提示格式

<bos><start_of_turn>user
{system_prompt}

{prompt}<end_of_turn>
<start_of_turn>model
<end_of_turn>
<start_of_turn>model

下載文件

可從以下列表中下載單個文件（非整個分支）：

文件名	量化類型	文件大小	拆分情況	描述
[medgemma - 27b - it - bf16.gguf](https://huggingface.co/bartowski/google_medgemma - 27b - it - GGUF/tree/main/google_medgemma - 27b - it - bf16)	bf16	54.03GB	true	完整的BF16權重。
[medgemma - 27b - it - Q8_0.gguf](https://huggingface.co/bartowski/google_medgemma - 27b - it - GGUF/blob/main/google_medgemma - 27b - it - Q8_0.gguf)	Q8_0	28.71GB	false	極高質量，通常不需要，但為最大可用量化。
[medgemma - 27b - it - Q6_K_L.gguf](https://huggingface.co/bartowski/google_medgemma - 27b - it - GGUF/blob/main/google_medgemma - 27b - it - Q6_K_L.gguf)	Q6_K_L	22.51GB	false	嵌入和輸出權重使用Q8_0。非常高質量，接近完美，推薦。
……（此處省略其他行，可根據需求完整列出）	……	……	……	……

嵌入/輸出權重

部分量化（如Q3_K_XL、Q4_K_L等）採用標準量化方法，將嵌入和輸出權重量化為Q8_0，而非默認值。

ARM/AVX信息

以前，你會下載Q4_0_4_4/4_8/8_8，這些模型的權重會在內存中交錯排列，以便通過一次加載更多數據來提高ARM和AVX機器的性能。

現在，有了所謂的“在線重新打包”權重功能，詳情見this PR。如果你使用Q4_0，且你的硬件能從重新打包權重中受益，它將自動即時進行。

從llama.cpp版本 b4282 開始，你將無法運行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想獲得稍好的質量，可以使用IQ4_NL，感謝this PR，它也會為ARM重新打包權重，不過目前僅適用於4_4。加載時間可能會更長，但會提高整體速度。

選擇合適的文件

點擊查看詳情

Artefact2在[此處](https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9)提供了一份很棒的帶有圖表的文檔，展示了各種性能表現。

首先，你需要確定能運行多大的模型。這需要了解你有多少RAM和/或VRAM。

如果你希望模型運行儘可能快，你需要將整個模型放入GPU的VRAM中。選擇文件大小比GPU總VRAM小1 - 2GB的量化版本。

如果你追求絕對最高質量，將系統RAM和GPU的VRAM相加，然後選擇文件大小比該總和小1 - 2GB的量化版本。

接下來，你需要決定是使用“I - 量化”還是“K - 量化”。

如果你不想考慮太多，選擇K - 量化。它們的格式為'QX_K_X'，如Q5_K_M。

如果你想深入瞭解，可以查看這個非常有用的特性圖表： [llama.cpp feature matrix](https://github.com/ggerganov/llama.cpp/wiki/Feature - matrix)

基本上，如果你目標是低於Q4，並且使用cuBLAS（Nvidia）或rocBLAS（AMD），你應該考慮I - 量化。它們的格式為IQX_X，如IQ3_M。這些是較新的量化方式，在相同大小下提供更好的性能。

這些I - 量化也可以在CPU上使用，但比對應的K - 量化慢，所以你需要在速度和性能之間做出權衡。

📦 安裝指南

使用huggingface - cli下載

點擊查看下載說明

首先，確保你已安裝huggingface - cli： ``` pip install -U "huggingface_hub[cli]" ``` 然後，你可以指定下載特定文件： ``` huggingface - cli download bartowski/google_medgemma - 27b - it - GGUF --include "google_medgemma - 27b - it - Q4_K_M.gguf" --local - dir ./ ``` 如果模型大於50GB，它會被拆分為多個文件。要將它們全部下載到本地文件夾，請運行： ``` huggingface - cli download bartowski/google_medgemma - 27b - it - GGUF --include "google_medgemma - 27b - it - Q8_0/*" --local - dir ./ ``` 你可以指定一個新的本地目錄（google_medgemma - 27b - it - Q8_0），也可以將它們全部下載到當前目錄（./）。

📚 詳細文檔

（已棄用）Q4_0_X_X信息

點擊查看Q4_0_X_X信息（已棄用）

保留此部分是為了展示使用帶有在線重新打包的Q4_0在性能上的潛在理論提升。

點擊查看AVX2系統（EPYC7702）上的基準測試

| 模型 | 大小 | 參數 | 後端 | 線程數 | 測試 | t/s | （與Q4_0相比）百分比 | | ------------------------------ | ---------: | ---------: | ---------- | ------: | ------------: | -------------------: |-------------: | | qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp512 | 204.03 ± 1.03 | 100% | | ……（此處省略其他行，可根據需求完整列出） | …… | …… | …… | …… | …… | …… | …… |

Q4_0_8_8在提示處理方面有顯著提升，在文本生成方面有小幅提升。

📄 許可證

本項目使用的許可證為health - ai - developer - foundations，具體條款請見[Health AI Developer Foundation's terms of use](https://developers.google.com/health - ai - developer - foundations/terms)。