Rclip

🚀 RCLIP（在放射影像及其说明上微调的Clip模型）

RCLIP是一个经过微调的模型，可用于放射影像的检索和零样本图像分类，在医学影像领域具有重要的应用价值。

🚀 快速开始

本模型是 openai/clip-vit-large-patch14 作为图像编码器和 microsoft/BiomedVLP-CXR-BERT-general 作为文本编码器，在 ROCO数据集 上微调后的版本。在评估集上取得了以下结果：

• 损失值：0.3388

✨ 主要特性

• 图像检索：可以对放射影像进行检索，通过保存图像嵌入和查询图像的方式，找到相似的图像。
• 零样本图像分类：无需大量标注数据，即可对图像进行分类。
• 可视化：可以生成图像与说明之间相似度得分的热力图。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

保存图像嵌入

from PIL import Image
import numpy as np
import pickle, os, torch
from transformers import VisionTextDualEncoderModel, VisionTextDualEncoderProcessor

# 加载模型
model = VisionTextDualEncoderModel.from_pretrained("kaveh/rclip")
processor = VisionTextDualEncoderProcessor.from_pretrained("kaveh/rclip")

# 待办事项
images_path = "/path/to/images/"
images = [os.path.join(images_path,i) for i in os.listdir(images_path) if i.endswith(".jpg")]

# 生成数据集中图像的嵌入
image_embeds = []
for img in images: 
    with torch.no_grad():
        inputs = processor(text=None, images=Image.open(img), return_tensors="pt", padding=True)
        outputs = model.get_image_features(**inputs)[0].numpy()
    image_embeds.append(outputs)

# 将图像嵌入保存到pickle文件中
with open("embeddings.pkl", 'wb') as f:
    pickle.dump(np.array(image_embeds), f)

查询图像

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from PIL import Image
import pickle, torch, os
from transformers import VisionTextDualEncoderModel, VisionTextDualEncoderProcessor

# 在嵌入中搜索查询
query = "Chest X-Ray photos"

# 对查询进行嵌入
inputs = processor(text=query, images=None, return_tensors="pt", padding=True)
with torch.no_grad():
    query_embedding = model.get_text_features(**inputs)[0].numpy()

# 加载图像嵌入
with open("embeddings.pkl", 'rb') as f:
    image_embeds = pickle.load(f)

# 查找相似图像的索引
def find_k_similar_images(query_embedding, image_embeds, k=2):
    similarities = cosine_similarity(query_embedding.reshape(1, -1), image_embeds)
    closest_indices = np.argsort(similarities[0])[::-1][:k]
    return closest_indices
similar_image_indices = find_k_similar_images(query_embedding, image_embeds, k=k)

# 待办事项
images_path = "/path/to/images/"
images = [os.path.join(images_path,i) for i in os.listdir(images_path) if i.endswith(".jpg")]

# 获取图像路径
similar_image_names = [images[index] for index in similar_image_indices]
Image.open(similar_image_names[0])

零样本图像分类

import requests
from PIL import Image
import matplotlib.pyplot as plt

from transformers import VisionTextDualEncoderModel, VisionTextDualEncoderProcessor

model = VisionTextDualEncoderModel.from_pretrained("kaveh/rclip")
processor = VisionTextDualEncoderProcessor.from_pretrained("kaveh/rclip")

url = "https://huggingface.co/spaces/kaveh/radiology-image-retrieval/resolve/main/images/ROCO_09402.jpg"
image = Image.open(requests.get(url, stream=True).raw)
possible_class_names = ["Chest X-Ray", "Brain MRI", "Abdominal CT Scan", "Ultrasound", "OPG"]

inputs = processor(text=possible_class_names, images=image, return_tensors="pt", padding=True)
probs = model(**inputs).logits_per_image.softmax(dim=1).squeeze()

print("".join([x[0] + ": " + x[1] + "\n" for x in zip(possible_class_names, [format(prob, ".4%") for prob in probs])]))
image

📚 详细文档

热力图

以下是ROCO数据集测试集上前30个样本的图像与其说明之间相似度得分的热力图：

指标

超参数

训练过程中使用了以下超参数：

• 学习率：5e-05
• 训练批次大小：24
• 评估批次大小：24
• 随机种子：42
• 优化器：Adam，其中 betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：cosine
• 学习率调度器热身步数：500
• 训练轮数：8.0

框架版本

• Transformers 4.31.0.dev0
• Pytorch 2.0.1+cu117
• Datasets 2.13.1
• Tokenizers 0.13.3

🔧 技术细节

本模型基于CLIP架构，通过在放射影像及其说明上进行微调，使其能够更好地适应医学影像领域的任务。在微调过程中，使用了Adam优化器和余弦退火学习率调度器，以提高模型的性能。

📄 许可证

本项目采用GPL-3.0许可证。

📖 引用

@misc{https://doi.org/10.57967/hf/0896,
  doi = {10.57967/HF/0896},
  url = {https://huggingface.co/kaveh/rclip},
  author = {{Kaveh Shahhosseini}},
  title = {rclip},
  publisher = {Hugging Face},
  year = {2023}
}