Pubmed Clip Vit Base Patch32

🚀 PubMedCLIPのモデルカード

PubMedCLIPは、医療分野向けにCLIPをファインチューニングしたバージョンです。このモデルは、医療画像データに特化した処理が可能で、医療分野の画像認識や関連タスクに役立ちます。

🚀 クイックスタート

PubMedCLIPは、医療分野の画像とテキストの関連付けに特化したモデルです。これにより、医療画像の分類や、画像に関連するテキスト情報の取得などのタスクが可能になります。

✨ 主な機能

• 医療分野向けにCLIPをファインチューニングしたモデルで、医療画像の理解に特化しています。
• 多様な医療画像モダリティ（X線、MRI、超音波など）に対応しています。
• 画像とテキストの関連付けが可能で、画像分類や画像検索などのタスクに役立ちます。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

import requests
from PIL import Image
import matplotlib.pyplot as plt

from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("flaviagiammarino/pubmed-clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("flaviagiammarino/pubmed-clip-vit-base-patch32")

url = "https://huggingface.co/flaviagiammarino/pubmed-clip-vit-base-patch32/resolve/main/scripts/input.jpeg"
image = Image.open(requests.get(url, stream=True).raw)
text = ["Chest X-Ray", "Brain MRI", "Abdominal CT Scan"]

inputs = processor(text=text, images=image, return_tensors="pt", padding=True)
probs = model(**inputs).logits_per_image.softmax(dim=1).squeeze()

plt.subplots()
plt.imshow(image)
plt.title("".join([x[0] + ": " + x[1] + "\n" for x in zip(text, [format(prob, ".4%") for prob in probs])]))
plt.axis("off")
plt.tight_layout()
plt.show()

📚 ドキュメント

モデルの説明

PubMedCLIPは、大規模なマルチモーダル医療画像データセットであるRadiology Objects in COntext (ROCO)データセットを使用して学習されました。ROCOデータセットには、様々な人体部位（頭部、脊椎、胸部、腹部など）からの多様な画像モダリティ（X線、MRI、超音波、透視検査など）が含まれており、オープンアクセスのPubMed記事から収集されています。

PubMedCLIPは、学習率10−5のAdamオプティマイザを使用して、バッチサイズ64で50エポック学習されました。著者らは、ResNet-50、ResNet-50x4、ViT32を画像エンコーダとして使用した3つの異なる事前学習モデルをこのリンクで公開しています。このリポジトリには、PubMedCLIPモデルのViT32バリアントのみが含まれています。

• リポジトリ: PubMedCLIP公式GitHubリポジトリ
• 論文: Does CLIP Benefit Visual Question Answering in the Medical Domain as Much as it Does in the General Domain?

🔧 技術詳細

PubMedCLIPは、医療分野の画像とテキストの関連付けを目的として、CLIPをファインチューニングしたモデルです。学習には、大規模な医療画像データセットであるROCOデータセットを使用し、特定のハイパーパラメータ（学習率、バッチサイズ、エポック数など）を用いて学習されました。

📄 ライセンス

著者らは、モデルコードと事前学習チェックポイントをMITライセンスの下で公開しています。

引用情報

@article{eslami2021does,
  title={Does clip benefit visual question answering in the medical domain as much as it does in the general domain?},
  author={Eslami, Sedigheh and de Melo, Gerard and Meinel, Christoph},
  journal={arXiv preprint arXiv:2112.13906},
  year={2021}
}