Blip Histopathology Finetuned

🚀 BLIPモデル：組織病理学画像でファインチューニング済み

このモデルは、Salesforce/blip-image-captioning-base を組織病理学画像データセットでファインチューニングしたもので、平均損失は0.0098です。

🚀 クイックスタート

このモデルは組織病理学画像の自動キャプション生成に特化しており、SalesforceのBLIPベースモデルを利用して高精度なキャプションを生成します。

✨ 主な機能

• 組織病理学画像の自動キャプション生成
• 高精度なキャプション生成能力

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoProcessor, BlipForConditionalGeneration
from PIL import Image

# モデルとプロセッサーをロード
model = BlipForConditionalGeneration.from_pretrained("ragunath-ravi/blip-histopathology-finetuned")
processor = AutoProcessor.from_pretrained("ragunath-ravi/blip-histopathology-finetuned")

# 画像をロード
image = Image.open("path_to_histopathology_image.jpg").convert('RGB')

# 画像を処理
inputs = processor(images=image, return_tensors="pt")
pixel_values = inputs.pixel_values

# キャプションを生成
generated_ids = model.generate(pixel_values=pixel_values, max_length=50)
generated_caption = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(generated_caption)

高度な使用法

このモデルの最後のチェックポイントは、このリポジトリの last_checkpoint ディレクトリに含まれています。このチェックポイントを使用して、別のデータセットでさらにファインチューニングすることができます。

📚 ドキュメント

モデルの説明

このモデルは、histopathology-image-caption-dataset でファインチューニングされ、組織病理学画像の自動キャプション生成に特化しています。

トレーニング手順

このモデルは、バッチサイズ4、学習率5e-5で10エポックトレーニングされました。画像はBLIPプロセッサーを使用して処理され、勾配累積ステップは2でした。

トレーニングの詳細

🔧 技術詳細

このモデルは、SalesforceのBLIPベースモデルを組織病理学画像データセットでファインチューニングすることで、高精度な組織病理学画像のキャプション生成を実現しています。トレーニングには、バッチサイズ4、学習率5e-5で10エポック行われ、勾配累積ステップは2でした。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。