Vit Small Patch8 224.lunit Dino

🚀 vit_small_patch8_224.lunit_dino

画像分類に特化したVision Transformer (ViT)モデルで、様々な病理データセットの3300万枚の組織学的パッチで学習されました。

🚀 クイックスタート

このモデルは画像分類に使用されるVision Transformer (ViT)モデルで、様々な病理データセットの3300万枚の組織学的パッチで学習されています。

✨ 主な機能

• 画像分類タスクに適したVision Transformer (ViT)モデルです。
• 様々な病理データセットを用いて学習されています。

📦 インストール

このモデルはtimmライブラリを通じて使用できます。以下のコマンドでtimmをインストールできます。

pip install timm

💻 使用例

基本的な使用法

from urllib.request import urlopen
from PIL import Image
import timm

# get example histology image
img = Image.open(
  urlopen(
    "https://github.com/owkin/HistoSSLscaling/raw/main/assets/example.tif"
  )
)

# load model from the hub
model = timm.create_model(
  model_name="hf-hub:1aurent/vit_small_patch8_224.lunit_dino",
  pretrained=True,
).eval()

# get model specific transforms (normalization, resize)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))  # output is (batch_size, num_features) shaped tensor

📚 ドキュメント

モデル詳細

📄 ライセンス

このモデルはlunit-non-commercialライセンスの下で提供されています。

📖 引用

@inproceedings{kang2022benchmarking,
  author    = {Kang, Mingu and Song, Heon and Park, Seonwook and Yoo, Donggeun and Pereira, Sérgio},
  title     = {Benchmarking Self-Supervised Learning on Diverse Pathology Datasets},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month     = {June},
  year      = {2023},
  pages     = {3344-3354}
}