ClipMDオープンソース医療画像テキストマッチングモデル - 無料でのデプロイで医療画像分類タスクを支援

ホーム

Clipmd

Idan0405によって開発

ClipMDはOpenAIのCLIPモデルを基に開発された医療画像テキストマッチングモデルで、スライディングウィンドウテキストエンコーダーを採用し、医療分野の画像分類タスクに特化しています。

画像生成テキスト

Transformers

英語#医療画像テキストマッチング #ゼロショット分類 #スライディングウィンドウエンコーディング

ダウンロード数 165

リリース時間 : 3/22/2023

モデル概要

ClipMDは医療分野の視覚-言語モデルで、医学画像とテキスト記述をマッチングさせることができ、主にゼロショット医療画像分類タスクに使用されます。

モデル特徴

医療分野専用

医療分野向けに特別に最適化および微調整されており、医学画像や専門用語をよりよく理解できます

スライディングウィンドウテキストエンコーディング

革新的なマスクスライディングウィンドウ自己注意メカニズムを使用してテキストを処理し、長文理解能力を向上させます

ゼロショット学習能力

特定のトレーニングなしで新しいカテゴリの画像分類が可能

モデル能力

医学画像分類

画像テキストマッチング

ゼロショット学習

使用事例

医療画像分析

X線画像分類

入力されたX線画像を胸部X線、頭部MRIなどのカテゴリに自動分類

医学画像検索

テキスト記述に基づいて関連する医学画像を検索

🚀 ClipMD

ClipMDは、スライディングウィンドウテキストエンコーダを備えたOpenAIのCLIPモデルに基づく医療用画像とテキストのマッチングモデルです。このモデルは、医療画像と関連するテキスト情報を高精度にマッチングさせることができ、医療分野における情報検索や画像分類などのタスクに役立ちます。

🚀 クイックスタート

ClipMDは、医療画像とテキストのマッチングを行うためのモデルです。以下に、Transformersライブラリを使用してこのモデルを利用する方法を示します。

💻 使用例

基本的な使用法

from PIL import Image
from transformers import AutoProcessor, AutoModel

model = AutoModel.from_pretrained("Idan0405/ClipMD", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("Idan0405/ClipMD")

image = Image.open("your image path")

inputs = processor(text=["chest x-ray", "head MRI"], images=image, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs[0] # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the label probabilities

📚 ドキュメント

モデルの詳細

ClipMDは、OpenAIのCLIPモデルをベースにした医療用画像とテキストのマッチングモデルで、スライディングウィンドウテキストエンコーダを備えています。

モデルの説明

このモデルは、画像エンコーダとしてViT-B/32 Transformerアーキテクチャを使用し、テキストエンコーダとしてマスクされたスライディングウィンドウ自己注意Transformerを使用しています。これらのエンコーダは、対照損失を通じて（画像、テキスト）ペアの類似度を最大化するように訓練されています。

このモデルは、ROCOデータセットでファインチューニングされました。