Medsam Vit Base

🚀 MedSAM模型卡片

MedSAM是针对医学领域对 SAM 进行微调后的版本。它基于作者在2023年7月发布的论文、代码和预训练模型构建，能够在医学图像分割任务中发挥重要作用。

✨ 主要特性

• 基于大规模医学图像分割数据集进行训练，该数据集包含来自不同公开来源的1,090,486个图像 - 掩码对。
• 图像 - 掩码对涵盖15种成像模式和30多种癌症类型。
• 以带有ViT - Base主干的预训练SAM模型进行初始化。
• 在训练过程中冻结提示编码器的权重，更新图像编码器和掩码解码器的权重。

📦 安装指南

文档中未提及具体安装步骤，若有相关需求，可参考 MedSAM官方GitHub仓库 。

💻 使用示例

基础用法

import requests
import numpy as np
import matplotlib.pyplot as plt
from PIL import Image
from transformers import SamModel, SamProcessor
import torch

device = "cuda" if torch.cuda.is_available() else "cpu"

model = SamModel.from_pretrained("flaviagiammarino/medsam-vit-base").to(device)
processor = SamProcessor.from_pretrained("flaviagiammarino/medsam-vit-base")

img_url = "https://huggingface.co/flaviagiammarino/medsam-vit-base/resolve/main/scripts/input.png"
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert("RGB")
input_boxes = [95., 255., 190., 350.]

inputs = processor(raw_image, input_boxes=[[input_boxes]], return_tensors="pt").to(device)
outputs = model(**inputs, multimask_output=False)
probs = processor.image_processor.post_process_masks(outputs.pred_masks.sigmoid().cpu(), inputs["original_sizes"].cpu(), inputs["reshaped_input_sizes"].cpu(), binarize=False)

def show_mask(mask, ax, random_color):
    if random_color:
        color = np.concatenate([np.random.random(3), np.array([0.6])], axis=0)
    else:
        color = np.array([251/255, 252/255, 30/255, 0.6])
    h, w = mask.shape[-2:]
    mask_image = mask.reshape(h, w, 1) * color.reshape(1, 1, -1)
    ax.imshow(mask_image)

def show_box(box, ax):
    x0, y0 = box[0], box[1]
    w, h = box[2] - box[0], box[3] - box[1]
    ax.add_patch(plt.Rectangle((x0, y0), w, h, edgecolor="blue", facecolor=(0, 0, 0, 0), lw=2))

fig, ax = plt.subplots(1, 2, figsize=(10, 5))
ax[0].imshow(np.array(raw_image))
show_box(input_boxes, ax[0])
ax[0].set_title("Input Image and Bounding Box")
ax[0].axis("off")
ax[1].imshow(np.array(raw_image))
show_mask(mask=probs[0] > 0.5, ax=ax[1], random_color=False)
show_box(input_boxes, ax[1])
ax[1].set_title("MedSAM Segmentation")
ax[1].axis("off")
plt.show()

📚 详细文档

模型描述

MedSAM在一个大规模医学图像分割数据集上进行训练，该数据集包含从不同公开来源收集的1,090,486个图像 - 掩码对。这些图像 - 掩码对涵盖15种成像模式和30多种癌症类型。

MedSAM以带有ViT - Base主干的预训练SAM模型进行初始化。在训练过程中，提示编码器的权重被冻结，而图像编码器和掩码解码器的权重则进行更新。训练使用AdamW优化器，学习率为10−4，权重衰减为0.01，共进行100个epoch，批次大小为160。

• 仓库地址： MedSAM官方GitHub仓库
• 论文地址： 医学图像中的任意分割

额外信息

许可信息

作者已根据 Apache许可证2.0 发布了模型代码和预训练检查点。

引用信息

@article{ma2023segment,
  title={Segment anything in medical images},
  author={Ma, Jun and Wang, Bo},
  journal={arXiv preprint arXiv:2304.12306},
  year={2023}
}

🔧 技术细节

MedSAM的训练和优化过程涉及多个关键技术点：

• 数据集：使用大规模医学图像分割数据集，该数据集的多样性（涵盖多种成像模式和癌症类型）为模型提供了丰富的训练样本，有助于模型学习到更广泛的医学图像特征。
• 模型初始化：基于预训练的SAM模型进行初始化，利用了预训练模型在通用图像任务上学习到的特征表示，加快了模型在医学领域的收敛速度。
• 训练策略：冻结提示编码器的权重，只更新图像编码器和掩码解码器的权重，这种策略可以在利用预训练模型的基础上，针对医学图像的特点对模型进行微调，提高模型在医学图像分割任务上的性能。
• 优化器和超参数：使用AdamW优化器，并设置了合适的学习率和权重衰减，有助于模型在训练过程中稳定收敛，避免过拟合。

📄 许可证

本模型代码和预训练检查点遵循 Apache许可证2.0 。