Medsam Vit Base

🚀 醫療圖像分割微調版Segment Anything Model (SAM) - ViT Base (ViT - B)模型卡片

本模型是基於Segment Anything Model (SAM)的ViT Base (ViT - B)版本，針對醫療圖像分割任務進行了微調。它能夠根據輸入的提示（如點或框）生成高質量的物體掩碼，可用於為圖像中的所有物體生成掩碼。該模型在包含1100萬張圖像和11億個掩碼的數據集上進行了訓練，在各種分割任務中具有強大的零樣本性能。

🚀 快速開始

模型倉庫鏈接

• 原始SAM倉庫鏈接
• 原始MedSAM倉庫鏈接

模型示例展示

模型簡介

Segment Anything Model (SAM) 可以根據點或框等輸入提示生成高質量的物體掩碼，並能為圖像中的所有物體生成掩碼。它在一個包含1100萬張圖像和11億個掩碼的數據集上進行了訓練，在各種分割任務中具有出色的零樣本性能。論文摘要指出：

我們推出了Segment Anything (SA)項目：一個用於圖像分割的新任務、模型和數據集。通過在數據收集循環中使用我們高效的模型，我們構建了迄今為止最大的分割數據集（遠超以往），在1100萬張有許可且尊重隱私的圖像上包含超過10億個掩碼。該模型的設計和訓練具有可提示性，因此它可以零樣本遷移到新的圖像分佈和任務中。我們在眾多任務上評估了其能力，發現其零樣本性能令人印象深刻 —— 通常與之前的全監督結果相媲美，甚至更優。我們在https://segment-anything.com發佈了Segment Anything Model (SAM)以及包含10億個掩碼和1100萬張圖像的相應數據集 (SA - 1B)，以促進計算機視覺基礎模型的研究。

免責聲明：本模型卡片的內容由Hugging Face團隊撰寫，部分內容從原始的SAM模型卡片複製粘貼而來。

✨ 主要特性

模型架構

Segment Anything Model (SAM)的詳細架構。

模型模塊組成

SAM模型由以下4個模塊組成：

• VisionEncoder：基於VIT的圖像編碼器。它使用注意力機制對圖像塊進行計算，得到圖像嵌入，並使用了相對位置嵌入。
• PromptEncoder：為點和邊界框生成嵌入。
• MaskDecoder：一種雙向變壓器，在圖像嵌入和點嵌入之間進行交叉注意力計算（->），並在點嵌入和圖像嵌入之間進行交叉注意力計算。其輸出將被進一步處理。
• Neck：根據MaskDecoder生成的上下文掩碼預測輸出掩碼。

💻 使用示例

參考資料

可參考以下演示筆記本以及相關文檔進行使用：

• 使用MedSAM進行推理的演示
• SAM的通用使用演示
• 文檔說明

📄 許可證

本模型採用Apache - 2.0許可證。

📚 引用說明

如果您使用了此模型，請使用以下BibTeX條目進行引用。

@article{kirillov2023segany,
  title={Segment Anything},
  author={Kirillov, Alexander and Mintun, Eric and Ravi, Nikhila and Mao, Hanzi and Rolland, Chloe and Gustafson, Laura and Xiao, Tete and Whitehead, Spencer and Berg, Alexander C. and Lo, Wan - Yen and Doll{\'a}r, Piotr and Girshick, Ross},
  journal={arXiv:2304.02643},
  year={2023}
}