Blip Histopathology Finetuned

🚀 BLIP模型在組織病理學圖像上的微調版本

本項目基於BLIP模型，在組織病理學圖像數據集上進行微調，旨在實現組織病理學圖像的自動描述。該模型在微調後表現出色，平均損失僅為0.0098，能夠為組織病理學圖像生成準確且有意義的描述。

🚀 快速開始

推理使用

from transformers import AutoProcessor, BlipForConditionalGeneration
from PIL import Image

# 加載模型和處理器
model = BlipForConditionalGeneration.from_pretrained("ragunath-ravi/blip-histopathology-finetuned")
processor = AutoProcessor.from_pretrained("ragunath-ravi/blip-histopathology-finetuned")

# 加載圖像
image = Image.open("path_to_histopathology_image.jpg").convert('RGB')

# 處理圖像
inputs = processor(images=image, return_tensors="pt")
pixel_values = inputs.pixel_values

# 生成描述
generated_ids = model.generate(pixel_values=pixel_values, max_length=50)
generated_caption = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(generated_caption)

進一步微調使用

本倉庫的 last_checkpoint 目錄中包含了最後一個檢查點。你可以使用此檢查點在其他數據集上繼續進行微調。

✨ 主要特性

• 基於 Salesforce/blip-image-captioning-base 模型進行微調，在組織病理學圖像自動描述任務上表現優異。
• 微調過程中平均損失僅為0.0098，說明模型具有較高的準確性和穩定性。

📦 安裝指南

文檔未提及安裝步驟，可參考 transformers 庫的官方安裝指南進行安裝。

📚 詳細文檔

模型描述

該模型在 組織病理學圖像描述數據集 上進行了微調，用於組織病理學圖像的自動描述。

訓練過程

模型訓練了10個週期，批次大小為4，學習率為5e - 5。使用BLIP處理器處理圖像，並採用了2步梯度累積。

訓練詳情

📄 許可證

本項目採用 Apache-2.0 許可證。