Clipmd

🚀 ClipMD模型卡

ClipMD是一個醫學圖像 - 文本匹配模型，它基於OpenAI的CLIP模型，並採用了滑動窗口文本編碼器。該模型能有效解決醫學圖像與文本信息的匹配問題，為醫學領域的圖像分類和信息檢索提供了強大的支持。

🚀 快速開始

與Transformers庫配合使用

from PIL import Image

from transformers import AutoProcessor,AutoModel

model = AutoModel.from_pretrained("Idan0405/ClipMD",trust_remote_code=True)
processor = AutoProcessor.from_pretrained("Idan0405/ClipMD")

image = Image.open("your image path")

inputs = processor(text=["chest x-ray", "head MRI"], images=image, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs[0] # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the label probabilities

✨ 主要特性

• 基於OpenAI的CLIP模型，具有良好的圖像 - 文本匹配能力。
• 採用滑動窗口文本編碼器，提升文本特徵提取效果。
• 在醫學圖像領域進行了微調，適用於醫學圖像的零樣本分類任務。

📚 詳細文檔

模型詳情

ClipMD是一個基於OpenAI的CLIP模型的醫學圖像 - 文本匹配模型，採用了滑動窗口文本編碼器。

模型描述

• 圖像編碼器：使用ViT - B/32 Transformer架構作為圖像編碼器。
• 文本編碼器：使用掩碼滑動窗口自注意力Transformer作為文本編碼器。
• 訓練方式：通過對比損失來最大化（圖像，文本）對的相似度。
• 微調數據：該模型在ROCO數據集上進行了微調。

相關鏈接

• ClipMD的GitHub倉庫
• ClipMD的ArXiv論文

📄 信息表格