Mammo Crop

🚀 乳房X线照片画像切り抜きモデル

このモデルは乳房X線撮影画像を切り抜き、不要な背景を除去します。軽量なmobilenetv3_small_100バックボーンを使用し、正規化されたxywh座標を予測します。

🚀 クイックスタート

このモデルは、RSNA Screening Mammography Breast Cancer Detectionコンペティションの54,706枚のスクリーニング用乳房X線撮影画像を90%/10%の比率で分割して学習および検証されました。 単一フォールド検証では、モデルは以下の平均絶対誤差（正規化座標）を達成しました。

x: 0.0032
y: 0.0030
w: 0.0054
h: 0.0088

✨ 主な機能

• 乳房X線撮影画像の不要な背景を除去するための切り抜き機能
• 軽量なmobilenetv3_small_100バックボーンを使用した高速な推論

📦 インストール

このモデルはtransformersライブラリを使用しています。必要な依存関係をインストールしてください。

💻 使用例

基本的な使用法

import cv2
import torch
from transformers import AutoModel

model = AutoModel.from_pretrained("ianpan/mammo-crop", trust_remote_code=True)
model = model.eval()
img = cv2.imread(..., 0)
img_shape = torch.tensor([img.shape[:2]])
x = model.preprocess(img)
x = torch.from_numpy(x).unsqueeze(0).unsqueeze(0)
x = x.float()

# if you do not provide img_shape
# model will return normalized coordinates
with torch.inference_mode():
  coords = model(x, img_shape)

# only 1 sample in batch
coords = coords[0].numpy()
x, y, w, h = coords
# coords already rescaled with img_shape
cropped_img = img[y: y + h, x: x + w]

高度な使用法

# DICOMファイルから画像を読み込む場合
import cv2
import torch
from transformers import AutoModel

model = AutoModel.from_pretrained("ianpan/mammo-crop", trust_remote_code=True)
model = model.eval()

# DICOMファイルから画像を読み込む
img = model.load_image_from_dicom(path_to_dicom)

img_shape = torch.tensor([img.shape[:2]])
x = model.preprocess(img)
x = torch.from_numpy(x).unsqueeze(0).unsqueeze(0)
x = x.float()

# if you do not provide img_shape
# model will return normalized coordinates
with torch.inference_mode():
  coords = model(x, img_shape)

# only 1 sample in batch
coords = coords[0].numpy()
x, y, w, h = coords
# coords already rescaled with img_shape
cropped_img = img[y: y + h, x: x + w]

🔧 技術詳細

モデルの学習

このモデルは、54,706枚のスクリーニング用乳房X線撮影画像を使用して学習されました。学習データと検証データは90%/10%の比率で分割されました。モデルは、大きなバッチサイズ（256）で学習され、ノイズを軽減しました。

正解座標の生成

正解座標は以下のコードを使用して生成されました。

import cv2

def crop_roi(img):
    img = img[5:-5, 5:-5]

    output = cv2.connectedComponentsWithStats((img > 10).astype("uint8")[:, :], 8, cv2.CV_32S)
    stats = output[2]

    idx = stats[1:, 4].argmax() + 1
    x1, y1, w, h = stats[idx][:4]
    x1 = max(0, x1 - 5)
    y1 = max(0, y1 - 5)
    
    img_h, img_w = img.shape[:2]

    return x1, y1, w, h

入力の前処理

モデルへの入力は[0, 255]の範囲であることが期待されます。DICOMファイルから読み込む場合は、入力を8ビット画像に変換し、model.preprocessを通して、torch.Tensorのfloat型に変換してからモデルに渡す必要があります。正規化ステップはモデル内部で行われます。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で公開されています。