Rclip

🚀 RCLIP（在放射影像及其說明上微調的Clip模型）

RCLIP是一個經過微調的模型，可用於放射影像的檢索和零樣本圖像分類，在醫學影像領域具有重要的應用價值。

🚀 快速開始

本模型是 openai/clip-vit-large-patch14 作為圖像編碼器和 microsoft/BiomedVLP-CXR-BERT-general 作為文本編碼器，在 ROCO數據集 上微調後的版本。在評估集上取得了以下結果：

• 損失值：0.3388

✨ 主要特性

• 圖像檢索：可以對放射影像進行檢索，通過保存圖像嵌入和查詢圖像的方式，找到相似的圖像。
• 零樣本圖像分類：無需大量標註數據，即可對圖像進行分類。
• 可視化：可以生成圖像與說明之間相似度得分的熱力圖。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

保存圖像嵌入

from PIL import Image
import numpy as np
import pickle, os, torch
from transformers import VisionTextDualEncoderModel, VisionTextDualEncoderProcessor

# 加載模型
model = VisionTextDualEncoderModel.from_pretrained("kaveh/rclip")
processor = VisionTextDualEncoderProcessor.from_pretrained("kaveh/rclip")

# 待辦事項
images_path = "/path/to/images/"
images = [os.path.join(images_path,i) for i in os.listdir(images_path) if i.endswith(".jpg")]

# 生成數據集中圖像的嵌入
image_embeds = []
for img in images: 
    with torch.no_grad():
        inputs = processor(text=None, images=Image.open(img), return_tensors="pt", padding=True)
        outputs = model.get_image_features(**inputs)[0].numpy()
    image_embeds.append(outputs)

# 將圖像嵌入保存到pickle文件中
with open("embeddings.pkl", 'wb') as f:
    pickle.dump(np.array(image_embeds), f)

查詢圖像

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from PIL import Image
import pickle, torch, os
from transformers import VisionTextDualEncoderModel, VisionTextDualEncoderProcessor

# 在嵌入中搜索查詢
query = "Chest X-Ray photos"

# 對查詢進行嵌入
inputs = processor(text=query, images=None, return_tensors="pt", padding=True)
with torch.no_grad():
    query_embedding = model.get_text_features(**inputs)[0].numpy()

# 加載圖像嵌入
with open("embeddings.pkl", 'rb') as f:
    image_embeds = pickle.load(f)

# 查找相似圖像的索引
def find_k_similar_images(query_embedding, image_embeds, k=2):
    similarities = cosine_similarity(query_embedding.reshape(1, -1), image_embeds)
    closest_indices = np.argsort(similarities[0])[::-1][:k]
    return closest_indices
similar_image_indices = find_k_similar_images(query_embedding, image_embeds, k=k)

# 待辦事項
images_path = "/path/to/images/"
images = [os.path.join(images_path,i) for i in os.listdir(images_path) if i.endswith(".jpg")]

# 獲取圖像路徑
similar_image_names = [images[index] for index in similar_image_indices]
Image.open(similar_image_names[0])

零樣本圖像分類

import requests
from PIL import Image
import matplotlib.pyplot as plt

from transformers import VisionTextDualEncoderModel, VisionTextDualEncoderProcessor

model = VisionTextDualEncoderModel.from_pretrained("kaveh/rclip")
processor = VisionTextDualEncoderProcessor.from_pretrained("kaveh/rclip")

url = "https://huggingface.co/spaces/kaveh/radiology-image-retrieval/resolve/main/images/ROCO_09402.jpg"
image = Image.open(requests.get(url, stream=True).raw)
possible_class_names = ["Chest X-Ray", "Brain MRI", "Abdominal CT Scan", "Ultrasound", "OPG"]

inputs = processor(text=possible_class_names, images=image, return_tensors="pt", padding=True)
probs = model(**inputs).logits_per_image.softmax(dim=1).squeeze()

print("".join([x[0] + ": " + x[1] + "\n" for x in zip(possible_class_names, [format(prob, ".4%") for prob in probs])]))
image

📚 詳細文檔

熱力圖

以下是ROCO數據集測試集上前30個樣本的圖像與其說明之間相似度得分的熱力圖：

指標

超參數

訓練過程中使用了以下超參數：

• 學習率：5e-05
• 訓練批次大小：24
• 評估批次大小：24
• 隨機種子：42
• 優化器：Adam，其中 betas=(0.9,0.999)，epsilon=1e-08
• 學習率調度器類型：cosine
• 學習率調度器熱身步數：500
• 訓練輪數：8.0

框架版本

• Transformers 4.31.0.dev0
• Pytorch 2.0.1+cu117
• Datasets 2.13.1
• Tokenizers 0.13.3

🔧 技術細節

本模型基於CLIP架構，通過在放射影像及其說明上進行微調，使其能夠更好地適應醫學影像領域的任務。在微調過程中，使用了Adam優化器和餘弦退火學習率調度器，以提高模型的性能。

📄 許可證

本項目採用GPL-3.0許可證。

📖 引用

@misc{https://doi.org/10.57967/hf/0896,
  doi = {10.57967/HF/0896},
  url = {https://huggingface.co/kaveh/rclip},
  author = {{Kaveh Shahhosseini}},
  title = {rclip},
  publisher = {Hugging Face},
  year = {2023}
}