Medsam Vit Base

🚀 セグメント・アンセリング・モデル (SAM) - ViT Base (ViT - B) バージョン、医用画像セグメンテーション向けファインチューニング済み

このモデルは、入力されたポイントやボックスなどのプロンプトから高品質なオブジェクトマスクを生成し、画像内のすべてのオブジェクトのマスクを生成することができます。医用画像セグメンテーションに特化してファインチューニングされています。

セグメント・アンセリング・モデル (SAM) の詳細なアーキテクチャ

🚀 クイックスタート

このセクションでは、SAMモデルの概要と利用方法のリンクを提供します。

概要

オリジナルのSAMリポジトリへのリンク オリジナルのMedSAMリポジトリへのリンク

セグメント・アンセリング・モデル (SAM) は、ポイントやボックスなどの入力プロンプトから高品質なオブジェクトマスクを生成し、画像内のすべてのオブジェクトのマスクを生成することができます。1100万枚の画像と11億個のマスクのデータセットで学習されており、さまざまなセグメンテーションタスクで強力なゼロショット性能を発揮します。

論文の概要には以下のように記載されています。

我々は、画像セグメンテーションのための新しいタスク、モデル、データセットであるセグメント・アンセリング (SA) プロジェクトを紹介します。データ収集ループで効率的なモデルを使用して、これまでで最大のセグメンテーションデータセットを構築しました。このデータセットには、1100万枚のライセンス付きでプライバシーを尊重した画像に10億個以上のマスクが含まれています。このモデルは、プロンプト可能なように設計および学習されているため、新しい画像分布やタスクにゼロショットで適用できます。多数のタスクでその能力を評価した結果、そのゼロショット性能は印象的で、多くの場合、従来の完全教師付きの結果と競合するか、それ以上の性能を発揮します。我々は、セグメント・アンセリング・モデル (SAM) と、10億個のマスクと1100万枚の画像からなる対応するデータセット (SA - 1B) を https://segment-anything.com で公開し、コンピュータビジョンの基礎モデルの研究を促進します。

免責事項: このモデルカードの内容はHugging Faceチームによって作成され、一部はオリジナルの SAMモデルカード からコピー・ペーストされています。

✨ 主な機能

SAMモデルは3つのモジュールで構成されています。

• VisionEncoder：VITベースの画像エンコーダーです。画像のパッチに対するアテンションを使用して画像埋め込みを計算します。相対位置埋め込みが使用されています。
• PromptEncoder：ポイントとバウンディングボックスの埋め込みを生成します。
• MaskDecoder：画像埋め込みとポイント埋め込みの間、およびポイント埋め込みと画像埋め込みの間でクロスアテンションを実行する双方向トランスフォーマーです。出力は次のモジュールに供給されます。
• Neck：MaskDecoder が生成した文脈化されたマスクに基づいて出力マスクを予測します。

💻 使用例

使用方法については、以下のデモノートブックを参照してください。

• こちら はMedSAMを使用した推論を示すノートブックです。
• こちら はSAMの一般的な使用方法を示すノートブックです。

また、ドキュメント も参照してください。

📚 ドキュメント

このモデルを使用する場合は、以下のBibTeXエントリを使用してください。

@article{kirillov2023segany,
  title={Segment Anything},
  author={Kirillov, Alexander and Mintun, Eric and Ravi, Nikhila and Mao, Hanzi and Rolland, Chloe and Gustafson, Laura and Xiao, Tete and Whitehead, Spencer and Berg, Alexander C. and Lo, Wan-Yen and Doll{\'a}r, Piotr and Girshick, Ross},
  journal={arXiv:2304.02643},
  year={2023}
}

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で提供されています。