Vit Small Patch8 224.lunit Dino

🚀 vit_small_patch8_224.lunit_dino 圖像分類模型

這是一個基於視覺變換器（ViT）的圖像分類模型，在來自多個病理數據集的 3300 萬個組織學切片上進行了訓練，可用於圖像分類任務。

🚀 快速開始

本模型可通過timm庫從模型中心加載，以下是獲取圖像嵌入的示例代碼：

from urllib.request import urlopen
from PIL import Image
import timm

# 獲取示例組織學圖像
img = Image.open(
  urlopen(
    "https://github.com/owkin/HistoSSLscaling/raw/main/assets/example.tif"
  )
)

# 從模型中心加載模型
model = timm.create_model(
  model_name="hf-hub:1aurent/vit_small_patch8_224.lunit_dino",
  pretrained=True,
).eval()

# 獲取模型特定的轉換（歸一化、調整大小）
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))  # 輸出是 (batch_size, num_features) 形狀的張量

✨ 主要特性

• 特徵骨幹網絡：可作為特徵提取的基礎模型。
• 自監督學習方法：採用 DINO 自監督學習方法進行訓練。
• 訓練數據豐富：在多個病理數據集的 3300 萬個組織學切片上進行訓練。

📚 詳細文檔

模型詳情

引用信息

如果您使用了本模型，請引用以下論文：

@inproceedings{kang2022benchmarking,
  author    = {Kang, Mingu and Song, Heon and Park, Seonwook and Yoo, Donggeun and Pereira, Sérgio},
  title     = {Benchmarking Self-Supervised Learning on Diverse Pathology Datasets},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month     = {June},
  year      = {2023},
  pages     = {3344-3354}
}

📄 許可證

本模型使用 lunit-non-commercial 許可證。