Medsam Vit Base

🚀 MedSAMのモデルカード

MedSAMは、医療分野向けに微調整されたSAMのバージョンです。このリポジトリは、2023年7月に著者らによって公開された論文、コード、および事前学習モデルに基づいています。

📚 ドキュメント

モデルの説明

MedSAMは、異なる公開ソースから収集された1,090,486の画像-マスクペアの大規模医療画像セグメンテーションデータセットで学習されました。これらの画像-マスクペアは、15の画像モダリティと30を超えるがんの種類をカバーしています。

MedSAMは、ViT-Baseバックボーンを持つ事前学習済みのSAMモデルを使用して初期化されました。プロンプトエンコーダの重みは固定され、画像エンコーダとマスクデコーダの重みは学習中に更新されました。学習は、バッチサイズ160で100エポック行われ、AdamWオプティマイザを使用し、学習率は10−4、重み減衰は0.01でした。

• リポジトリ: MedSAM公式GitHubリポジトリ
• 論文: Segment Anything in Medical Images

ライセンス情報

著者らは、モデルコードと事前学習チェックポイントをApache License 2.0の下で公開しています。

引用情報

@article{ma2023segment,
  title={Segment anything in medical images},
  author={Ma, Jun and Wang, Bo},
  journal={arXiv preprint arXiv:2304.12306},
  year={2023}
}

💻 使用例

基本的な使用法

import requests
import numpy as np
import matplotlib.pyplot as plt
from PIL import Image
from transformers import SamModel, SamProcessor
import torch

device = "cuda" if torch.cuda.is_available() else "cpu"

model = SamModel.from_pretrained("flaviagiammarino/medsam-vit-base").to(device)
processor = SamProcessor.from_pretrained("flaviagiammarino/medsam-vit-base")

img_url = "https://huggingface.co/flaviagiammarino/medsam-vit-base/resolve/main/scripts/input.png"
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert("RGB")
input_boxes = [95., 255., 190., 350.]

inputs = processor(raw_image, input_boxes=[[input_boxes]], return_tensors="pt").to(device)
outputs = model(**inputs, multimask_output=False)
probs = processor.image_processor.post_process_masks(outputs.pred_masks.sigmoid().cpu(), inputs["original_sizes"].cpu(), inputs["reshaped_input_sizes"].cpu(), binarize=False)

def show_mask(mask, ax, random_color):
    if random_color:
        color = np.concatenate([np.random.random(3), np.array([0.6])], axis=0)
    else:
        color = np.array([251/255, 252/255, 30/255, 0.6])
    h, w = mask.shape[-2:]
    mask_image = mask.reshape(h, w, 1) * color.reshape(1, 1, -1)
    ax.imshow(mask_image)

def show_box(box, ax):
    x0, y0 = box[0], box[1]
    w, h = box[2] - box[0], box[3] - box[1]
    ax.add_patch(plt.Rectangle((x0, y0), w, h, edgecolor="blue", facecolor=(0, 0, 0, 0), lw=2))

fig, ax = plt.subplots(1, 2, figsize=(10, 5))
ax[0].imshow(np.array(raw_image))
show_box(input_boxes, ax[0])
ax[0].set_title("Input Image and Bounding Box")
ax[0].axis("off")
ax[1].imshow(np.array(raw_image))
show_mask(mask=probs[0] > 0.5, ax=ax[1], random_color=False)
show_box(input_boxes, ax[1])
ax[1].set_title("MedSAM Segmentation")
ax[1].axis("off")
plt.show()

📄 ライセンス

このモデルは、Apache License 2.0の下で公開されています。