Derm Foundation

🚀 皮膚基礎模型（Derm Foundation）

皮膚基礎模型（Derm Foundation）是一款專為加速皮膚病學應用中皮膚圖像分析的人工智能開發而設計的機器學習模型。它通過預訓練生成的特徵嵌入，能顯著減少訓練AI模型所需的數據量和計算資源。

🚀 快速開始

本模型的相關文檔及資源如下：

• 模型文檔：皮膚基礎模型（Derm Foundation）
• 資源鏈接：
  • Google Cloud模型庫中的模型：皮膚基礎模型（Derm Foundation）
  • Hugging Face上的模型：google/derm-foundation
  • GitHub倉庫（包含支持代碼、Colab筆記本、討論和問題）：derm-foundation
  • 快速入門筆記本：notebooks/quick_start
  • 支持信息：請查看聯繫我們
• 使用條款：健康人工智能開發者基礎使用條款
• 作者：Google

✨ 主要特性

皮膚基礎模型（Derm Foundation）經過大量帶標籤的皮膚圖像預訓練，能夠生成6144維的特徵嵌入，捕捉與皮膚圖像分析相關的密集特徵。這使得基於該模型的AI模型訓練所需的數據和計算資源顯著減少。

📦 安裝指南

若要在本地運行模型，可參考以下示例代碼。若需大規模使用該模型，建議通過Model Garden創建生產版本。

# 下載測試圖像
from PIL import Image
from io import BytesIO
from IPython.display import Image as IPImage, display
from huggingface_hub import from_pretrained_keras
import tensorflow as tf

# 下載示例圖像
!wget -nc -q https://storage.googleapis.com/dx-scin-public-data/dataset/images/3445096909671059178.png

# 加載圖像
img = Image.open("3445096909671059178.png")
buf = BytesIO()
img.convert('RGB').save(buf, 'PNG')
image_bytes = buf.getvalue()

# 格式化輸入
input_tensor= tf.train.Example(features=tf.train.Features(
        feature={'image/encoded': tf.train.Feature(
            bytes_list=tf.train.BytesList(value=[image_bytes]))
        })).SerializeToString()

# 直接從Hugging Face Hub加載模型
loaded_model = from_pretrained_keras("google/derm-foundation")

# 調用推理
infer = loaded_model.signatures["serving_default"]
output = infer(inputs=tf.constant([input_tensor]))

# 提取嵌入向量
embedding_vector = output['embedding'].numpy().flatten()

💻 使用示例

基礎用法

上述安裝指南中的代碼即為基礎用法示例，展示瞭如何在本地加載模型並進行推理，提取特徵嵌入向量。

高級用法

以下是一些使用該模型的高級示例，可通過Colab筆記本查看：

• 快速試用：使用Hugging Face的權重在本地運行模型，可查看Colab中的快速入門筆記本。
• 訓練線性分類器：查看如何使用該模型訓練線性分類器，可參考Colab中的線性分類器筆記本。
• DERM12345嵌入與演示：DERM12345 Embeddings and Demo包含了一個使用皮膚基礎模型預計算嵌入的演示，用於DERM12345。特別感謝Abdurrahim Yilmaz提供此示例。

📚 詳細文檔

模型架構概述

• 該模型基於BiT - M ResNet101x3架構。
• 皮膚基礎模型分兩個階段進行訓練。第一階段的預訓練使用對比學習，在大量來自互聯網的公共圖像 - 文本對上進行訓練。然後，使用多個臨床數據集對該預訓練模型的圖像部分進行微調，以進行疾病分類和其他下游任務。

技術規格

性能與驗證

皮膚基礎模型在一系列與皮膚相關的分類任務中進行了數據高效性和準確性評估。在不同比例的訓練數據下，基於皮膚基礎模型的嵌入訓練線性分類器的性能（準確率提高10 - 15%）明顯優於標準BiT - M模型。更多詳情請參考針對皮膚病學和病理學的特定健康嵌入工具。

輸入與輸出

• 輸入：448 x 448像素的PNG圖像文件。
• 輸出：浮點值的嵌入向量（維度：6144）。

數據集詳情

訓練數據集

• 基礎模型（預訓練）：使用大量來自公共網絡的健康相關圖像 - 文本對。
• SFT（監督微調）模型：使用來自美國和哥倫比亞的遠程皮膚病學數據集、來自澳大利亞的皮膚癌數據集以及其他公共圖像。這些圖像來自多種設備類型，包括智能手機相機、其他相機和皮膚鏡。圖像拍攝者也各不相同，可能是臨床醫生在會診期間拍攝，也可能是患者自行拍攝。

標註

標註來源因數據集而異，例如：

• 來自公共網絡的（圖像，標題）對。
• 由谷歌資助的皮膚科醫生標註員提供的皮膚病狀況標籤。
• 基於遠程醫療訪問、面對面訪問或活檢的臨床數據集提供的皮膚病狀況標籤。

軟件實現

模型訓練使用了JAX。JAX使研究人員能夠利用包括TPU在內的最新一代硬件，更快、更高效地訓練大型模型。

使用與限制

預期用途

• 皮膚基礎模型可減少開發皮膚圖像分析特定任務模型所需的訓練數據、計算資源和技術專業知識。
• 模型生成的嵌入可用於各種用戶定義的下游任務，包括但不限於：
  • 對銀屑病、黑色素瘤或皮炎等臨床病症進行分類。
  • 對臨床病症的嚴重程度或進展進行評分。
  • 識別皮膚所在的身體部位。
  • 確定用於皮膚病評估的圖像質量。
• 若要了解如何使用該模型訓練分類器，請查看線性分類器示例。

優勢

• 皮膚基礎模型的嵌入可用於高效訓練皮膚圖像分析的AI模型，與傳統方法相比，所需的數據和計算資源顯著減少。
• 通過利用大量預訓練圖像，用戶可以使用更少的數據構建更具泛化能力的模型，而不是在更有限的數據集上進行訓練。

限制

• 皮膚基礎模型在現實環境中不同光照和噪聲條件下的圖像上進行訓練。然而，在極端條件下（如過亮或過暗的照片），其性能可能會下降。
• 基礎模型使用來自公共網絡的圖像 - 文本對進行訓練，這些圖像來源多樣，但可能存在噪聲或質量較低的情況。SFT（監督微調）模型使用來自有限國家（美國、哥倫比亞、澳大利亞、公共圖像）和場景（主要是臨床場景）的數據進行訓練，可能無法很好地泛化到其他國家、患者群體或未在訓練中使用的圖像類型的數據。
• 該模型僅用於生成用戶提供數據的嵌入，本身不進行任何預測或診斷。
• 與任何研究一樣，開發者應確保任何下游應用在使用與特定應用預期使用場景（如膚色/類型、年齡、性別等）相適應的數據進行驗證，以瞭解其性能。

📄 許可證

皮膚基礎模型（Derm Foundation）的使用受健康人工智能開發者基礎使用條款的約束。