H0 Mini

🚀 H0-mini 模型卡

H0-mini 是由 Owkin 和 Bioptimus 開發的一款輕量級組織學基礎模型。該模型能夠在顯著降低推理成本的情況下，達到與當前組織學基礎模型相當的性能，並且對染色和掃描協議的變化表現出較強的魯棒性。

🚀 快速開始

H0-mini 可用於不同的下游應用，既可以直接使用，也可以進行微調。例如，可使用多實例學習算法（如 ABMIL [4]）進行切片級分類。

提取特徵的代碼示例

以下代碼片段展示瞭如何使用 H0-Mini 從組織學圖像中提取特徵。我們建議將 CLS 標記（cls_features）作為下游任務的輸入特徵，在某些任務中，將 CLS 標記特徵與 patch 標記特徵的平均值連接起來（concatenated_features）可能會帶來一些性能提升。

from huggingface_hub import login
import torch
import timm
from timm.data import resolve_data_config
from timm.data.transforms_factory import create_transform
from torchvision import transforms


# Login to the Hugging Face hub, using your user access token that can be found here:
# https://huggingface.co/settings/tokens.
login()

model = timm.create_model(
    "hf-hub:bioptimus/H0-mini",
    pretrained=True,
    mlp_layer=timm.layers.SwiGLUPacked,
    act_layer=torch.nn.SiLU,
)
model.to("cuda")
model.eval()

transform = create_transform(**resolve_data_config(model.pretrained_cfg, model=model))

input = torch.rand(3, 224, 224)
input = transforms.ToPILImage()(input)

# We recommend using mixed precision for faster inference.
with torch.autocast(device_type="cuda", dtype=torch.float16):
    with torch.inference_mode():
        output = model(transform(input).unsqueeze(0).to("cuda"))  # (1, 261, 768)
        # CLS token features (1, 768):
        cls_features = output[:, 0]
        # Patch token features (1, 256, 768):
        patch_token_features = output[:, model.num_prefix_tokens :]
        # Concatenate the CLS token features with the mean of the patch token
        # features (1, 1536):
        concatenated_features = torch.cat(
            [cls_features, patch_token_features.mean(1)], dim=-1
        )

assert cls_features.shape == (1, 768)
assert patch_token_features.shape == (1, 256, 768)
assert concatenated_features.shape == (1, 1536)

這些特徵可用於下游應用，如 ROI 分類（通過線性或 k-NN 探測）、切片分類（通過多實例學習）、分割（例如通過 ViT-Adapter）等。

✨ 主要特性

• 輕量級設計：H0-mini 是一款輕量級的組織學基礎模型，在降低推理成本的同時，能達到與當前組織學基礎模型相當的性能。
• 魯棒性強：對染色和掃描協議的變化表現出較強的魯棒性。

📦 安裝指南

軟件依賴

• torch>==2.0.0: https://pytorch.org
• torchvision>=0.15.0: https://pytorch.org/vision/stable/index.html
• xformers>=0.0.18: https://github.com/facebookresearch/xformers

📚 詳細文檔

H0-mini 是一個基於 Vision Transformer Base/14 的模型，它通過 DINOv2 [2] 自監督蒸餾方法從 H-optimus-0 [1] (ViT-g/14) 中蒸餾而來，訓練數據為 PanCancer40M，這是一個從 TCGA 的 6093 張組織學切片中提取的 4300 萬個組織學圖塊的集合。

更多詳細信息請參考 ArXiv 預印本。

圖：PLISM 數據集 [3] 中模型對染色和掃描條件的魯棒性評估 - 為每個提取器計算了 4095 對切片的前 10 名準確率中位數與平均餘弦相似度。對於兩個軸，值越高表示模型越魯棒。

📄 許可證

本模型和相關代碼遵循 CC-BY-NC-ND 4.0 許可證發佈，僅可用於非商業性的學術研究目的，並需進行適當的引用。

重要使用限制

• 商業使用限制：禁止對 H0-mini 模型及其衍生模型（包括基於 H0-mini 模型輸出訓練的模型或由 H0-mini 模型創建的數據集）進行任何商業使用、銷售或其他貨幣化操作，如需商業使用，請事先獲得批准。
• 註冊要求：下載模型需要事先在 Hugging Face 上註冊並同意使用條款。註冊時使用的主要電子郵件必須與您的機構電子郵件匹配，@gmail/@hotmail/@qq 等電子郵件域名將被拒絕。
• 數據使用限制：用戶不得嘗試重新識別用於開發基礎模型的去標識化數據。
• 無擔保聲明：本模型“按原樣”提供，不提供任何形式的明示或暗示保證。該模型未經過任何監管機構的審查、認證或批准，包括但不限於美國食品藥品監督管理局 (FDA)、歐洲藥品管理局 (EMA)、英國藥品和保健品管理局 (MHRA) 或其他醫療器械監管機構。在醫療保健或生物醫學環境中應用此模型時，必須遵守相關監管要求並進行獨立驗證。
• 責任承擔：用戶對如何使用此模型及由此產生的任何後果承擔全部責任。作者、貢獻者和分發者對因模型使用導致的直接或間接損害不承擔任何責任。用戶在涉及患者數據的研究中使用該模型時，有責任確保遵守數據保護法規（如 GDPR、HIPAA）。

如果您是商業實體，請通過 hello [at] bioptimus.com 與我們聯繫，討論許可選項。

下載所需信息

在下載模型時，您需要提供以下信息：

🔧 技術細節

模型架構

H0-mini 是一個 Vision Transformer Base/14 模型，通過 DINOv2 [2] 自監督蒸餾方法從 H-optimus-0 [1] (ViT-g/14) 中蒸餾而來。

訓練數據

訓練數據為 PanCancer40M，這是一個從 TCGA 的 6093 張組織學切片中提取的 4300 萬個組織學圖塊的集合。

🔗 致謝

計算資源

本研究獲得了 GENCI 分配的 IDRIS 高性能計算 (HPC) 資源，分配編號為 2023 - A0141012519、2024 - A0161012519 和 2024 - GC011015442。

代碼基礎

H0-mini 基於 DINOv2 代碼庫構建（遵循 Apache License 2.0）。

數據集

本研究部分結果基於 TCGA 研究網絡生成的數據：https://www.cancer.gov/tcga。

📚 參考文獻

1. Saillard, C., Jenatton, R., Llinares - López, F., Mariet, Z., Cahané, D., Durand, E., Vert, J. - P., 2024. H - optimus - 0.
2. Oquab, M., Darcet, T., Moutakanni, T., Vo, H., Szafraniec, M., Khalidov, V., ... & Bojanowski, P. (2023). Dinov2: Learning robust visual features without supervision. arXiv preprint arXiv:2304.07193.
3. Ochi, M., Komura, D., Onoyama, T., Shinbo, K., Endo, H., Odaka, H., ... & Ishikawa, S. (2024). Registered multi - device/staining histology image dataset for domain - agnostic machine learning models. Scientific Data, 11(1), 330.
4. Ilse, M., Tomczak, J., & Welling, M. (2018, July). Attention - based deep multiple instance learning. In International conference on machine learning (pp. 2127 - 2136). PMLR.