Paligemma Derm

🚀 PaliGemma皮膚病學模型

本模型基於PaliGemma-3B架構，針對皮膚病學相關的圖像和文本處理任務進行了微調。它結合了圖像分析和自然語言處理技術，旨在輔助識別各種皮膚狀況。

🚀 快速開始

以下是使用該模型的示例代碼：

import torch
from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image

# 加載模型和處理器
model_id = "brucewayne0459/paligemma_derm"
processor = AutoProcessor.from_pretrained(model_id)
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, device_map={"": 0})
model.eval()

# 加載示例圖像和文本輸入
input_text = "Identify the skin condition?"
input_image_path = " Replace with your actual image path"  
input_image = Image.open(input_image_path).convert("RGB")

# 處理輸入
inputs = processor(text=input_text, images=input_image, return_tensors="pt", padding="longest").to("cuda" if torch.cuda.is_available() else "cpu")

# 設置生成的最大長度
max_new_tokens = 50

# 運行推理
with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=max_new_tokens)

# 解碼輸出
decoded_output = processor.decode(outputs[0], skip_special_tokens=True)
print("Model Output:", decoded_output)

✨ 主要特性

• 基於PaliGemma-3B架構，專為皮膚病學任務微調。
• 結合圖像分析和自然語言處理，輔助識別皮膚狀況。
• 可直接用於分析皮膚病圖像，洞察潛在皮膚問題。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image

# 加載模型和處理器
model_id = "brucewayne0459/paligemma_derm"
processor = AutoProcessor.from_pretrained(model_id)
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, device_map={"": 0})
model.eval()

# 加載示例圖像和文本輸入
input_text = "Identify the skin condition?"
input_image_path = " Replace with your actual image path"  
input_image = Image.open(input_image_path).convert("RGB")

# 處理輸入
inputs = processor(text=input_text, images=input_image, return_tensors="pt", padding="longest").to("cuda" if torch.cuda.is_available() else "cpu")

# 設置生成的最大長度
max_new_tokens = 50

# 運行推理
with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=max_new_tokens)

# 解碼輸出
decoded_output = processor.decode(outputs[0], skip_special_tokens=True)
print("Model Output:", decoded_output)

📚 詳細文檔

模型詳情

模型描述

本模型基於PaliGemma - 3B架構，針對皮膚病學相關的圖像和文本處理任務進行了微調。它旨在結合圖像分析和自然語言處理技術，輔助識別各種皮膚狀況。

• 開發者：Bruce_Wayne
• 模型類型：視覺模型
• 微調基礎模型：https://huggingface.co/google/paligemma-3b-pt-224
• 是否使用LoRA適配器：是
• 預期用途：醫學圖像分析，特別是皮膚病學領域

若想了解模型的工作原理，請訪問 -->https://forms.gle/cBA6apSevTyiEbp46

用途

直接使用

該模型可直接用於分析皮膚病圖像，洞察潛在的皮膚狀況。

偏差、風險和侷限性

• 膚色偏差：模型可能在訓練時使用了不能充分代表所有膚色的數據集，這可能導致結果出現偏差。
• 地理偏差：模型的性能可能會因不同地理區域某些疾病的流行程度而有所不同。

訓練詳情

訓練數據

模型在包含皮膚病圖像和疾病名稱的數據集上進行了微調。

訓練過程

模型使用LoRA（低秩自適應）進行了微調，以提高訓練效率。同時採用了混合精度（bfloat16）來加速訓練並減少內存使用。

訓練超參數

• 訓練模式：混合精度（bfloat16）
• 訓練輪數：10
• 學習率：2e - 5
• 批量大小：6
• 梯度累積步數：4

評估

測試數據、因素和指標

測試數據

模型在一個獨立的皮膚病圖像和疾病名稱驗證集上進行了評估，該驗證集與訓練數據不同。

指標

• 驗證損失：在訓練過程中跟蹤該損失，以評估模型性能。
• 準確率：評估模型預測的主要指標。

結果

模型最終的驗證損失約為0.2214，表明在基於所用數據集預測皮膚狀況方面表現良好。

環境影響

• 硬件類型：1 x L4 GPU
• 使用時長：約22小時
• 雲服務提供商：LIGHTNING AI
• 計算區域：美國
• 碳排放：0.9千克二氧化碳當量

技術規格

模型架構和目標

• 架構：基於PaliGemma - 3B的視覺 - 語言模型
• 目標：從圖像和文本中對皮膚病狀況進行分類和診斷

計算基礎設施

硬件

• GPU：1xL4 GPU

🔧 技術細節

模型架構和目標

• 架構：基於PaliGemma-3B的視覺 - 語言模型
• 目標：從圖像和文本中對皮膚病狀況進行分類和診斷

計算基礎設施

硬件

• GPU：1xL4 GPU

📄 許可證

本模型採用Apache-2.0許可證。

模型卡片作者

Bruce_Wayne