Rclip

🚀 RCLIP (放射線画像とそのキャプションでファインチューニングされたClipモデル)

このモデルは、画像エンコーダとしてopenai/clip-vit-large-patch14、テキストエンコーダとしてmicrosoft/BiomedVLP-CXR-BERT-generalを使用し、ROCOデータセットでファインチューニングされたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.3388

🚀 クイックスタート

このモデルは、画像検索やゼロショット画像分類などのタスクに使用できます。以下に具体的な使用方法を説明します。

✨ 主な機能

• 画像検索: 画像の埋め込みを保存し、クエリに基づいて類似する画像を検索できます。
• ゼロショット画像分類: 事前に学習していないクラスに対しても画像を分類できます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

画像検索

画像の埋め込みを保存するコードは以下の通りです。

from PIL import Image
import numpy as np
import pickle, os, torch
from transformers import VisionTextDualEncoderModel, VisionTextDualEncoderProcessor

# load model
model = VisionTextDualEncoderModel.from_pretrained("kaveh/rclip")
processor = VisionTextDualEncoderProcessor.from_pretrained("kaveh/rclip")

# TO-DO
images_path = "/path/to/images/"
images = [os.path.join(images_path,i) for i in os.listdir(images_path) if i.endswith(".jpg")]

# generate embeddings of images in your dataset
image_embeds = []
for img in images: 
    with torch.no_grad():
        inputs = processor(text=None, images=Image.open(img), return_tensors="pt", padding=True)
        outputs = model.get_image_features(**inputs)[0].numpy()
    image_embeds.append(outputs)

# save images embeddings in a pickle file
with open("embeddings.pkl", 'wb') as f:
    pickle.dump(np.array(image_embeds), f)

クエリに基づいて画像を検索するコードは以下の通りです。

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from PIL import Image
import pickle, torch, os
from transformers import VisionTextDualEncoderModel, VisionTextDualEncoderProcessor

# search a query in embeddings
query = "Chest X-Ray photos"

# embed the query
inputs = processor(text=query, images=None, return_tensors="pt", padding=True)
with torch.no_grad():
    query_embedding = model.get_text_features(**inputs)[0].numpy()

# load image embeddings
with open("embeddings.pkl", 'rb') as f:
    image_embeds = pickle.load(f)

# find similar images indices
def find_k_similar_images(query_embedding, image_embeds, k=2):
    similarities = cosine_similarity(query_embedding.reshape(1, -1), image_embeds)
    closest_indices = np.argsort(similarities[0])[::-1][:k]
    return closest_indices
similar_image_indices = find_k_similar_images(query_embedding, image_embeds, k=k)

# TO-DO
images_path = "/path/to/images/"
images = [os.path.join(images_path,i) for i in os.listdir(images_path) if i.endswith(".jpg")]

# get image paths
similar_image_names = [images[index] for index in similar_image_indices]
Image.open(similar_image_names[0])

ゼロショット画像分類

ゼロショット画像分類のコードは以下の通りです。

import requests
from PIL import Image
import matplotlib.pyplot as plt

from transformers import VisionTextDualEncoderModel, VisionTextDualEncoderProcessor

model = VisionTextDualEncoderModel.from_pretrained("kaveh/rclip")
processor = VisionTextDualEncoderProcessor.from_pretrained("kaveh/rclip")

url = "https://huggingface.co/spaces/kaveh/radiology-image-retrieval/resolve/main/images/ROCO_09402.jpg"
image = Image.open(requests.get(url, stream=True).raw)
possible_class_names = ["Chest X-Ray", "Brain MRI", "Abdominal CT Scan", "Ultrasound", "OPG"]

inputs = processor(text=possible_class_names, images=image, return_tensors="pt", padding=True)
probs = model(**inputs).logits_per_image.softmax(dim=1).squeeze()

print("".join([x[0] + ": " + x[1] + "\n" for x in zip(possible_class_names, [format(prob, ".4%") for prob in probs])]))
image

📚 ドキュメント

ヒートマップ

ROCOデータセットのテスト分割における最初の30サンプルの画像とそのキャプションの類似度スコアのヒートマップは以下の通りです。

メトリクス

トレーニングと検証の損失メトリクスは以下の表に示されています。

ハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 5e-05
• トレーニングバッチサイズ: 24
• 評価バッチサイズ: 24
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラタイプ: cosine
• 学習率スケジューラウォームアップステップ: 500
• エポック数: 8.0

フレームワークバージョン

使用されたフレームワークのバージョンは以下の通りです。

🔧 技術詳細

このモデルは、画像エンコーダとしてopenai/clip-vit-large-patch14、テキストエンコーダとしてmicrosoft/BiomedVLP-CXR-BERT-generalを使用し、ROCOデータセットでファインチューニングされています。トレーニングにはAdamオプティマイザとコサイン学習率スケジューラが使用されています。

📄 ライセンス

このモデルはGPL-3.0ライセンスの下で提供されています。

引用

@misc{https://doi.org/10.57967/hf/0896,
  doi = {10.57967/HF/0896},
  url = {https://huggingface.co/kaveh/rclip},
  author = {{Kaveh Shahhosseini}},
  title = {rclip},
  publisher = {Hugging Face},
  year = {2023}
}