Vit Small Patch8 224.lunit Dino

🚀 vit_small_patch8_224.lunit_dino 图像分类模型

这是一个基于视觉变换器（ViT）的图像分类模型，在来自多个病理数据集的 3300 万个组织学切片上进行了训练，可用于图像分类任务。

🚀 快速开始

本模型可通过timm库从模型中心加载，以下是获取图像嵌入的示例代码：

from urllib.request import urlopen
from PIL import Image
import timm

# 获取示例组织学图像
img = Image.open(
  urlopen(
    "https://github.com/owkin/HistoSSLscaling/raw/main/assets/example.tif"
  )
)

# 从模型中心加载模型
model = timm.create_model(
  model_name="hf-hub:1aurent/vit_small_patch8_224.lunit_dino",
  pretrained=True,
).eval()

# 获取模型特定的转换（归一化、调整大小）
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))  # 输出是 (batch_size, num_features) 形状的张量

✨ 主要特性

• 特征骨干网络：可作为特征提取的基础模型。
• 自监督学习方法：采用 DINO 自监督学习方法进行训练。
• 训练数据丰富：在多个病理数据集的 3300 万个组织学切片上进行训练。

📚 详细文档

模型详情

引用信息

如果您使用了本模型，请引用以下论文：

@inproceedings{kang2022benchmarking,
  author    = {Kang, Mingu and Song, Heon and Park, Seonwook and Yoo, Donggeun and Pereira, Sérgio},
  title     = {Benchmarking Self-Supervised Learning on Diverse Pathology Datasets},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month     = {June},
  year      = {2023},
  pages     = {3344-3354}
}

📄 许可证

本模型使用 lunit-non-commercial 许可证。