H0 Mini

🚀 H0 - mini

H0 - miniは、OwkinとBioptimusによって開発された、組織学用の軽量な基盤モデルです。このモデルは、組織学的画像の特徴抽出や、組織学的診断などの分野で利用でき、低い推論コストで高い性能を発揮します。

🚀 クイックスタート

H0 - miniは、異なる下流アプリケーションでファインチューニング有りまたは無しで使用できます。以下のコードスニペットを使用すると、H0 - Miniを使って組織学的画像から特徴を抽出できます。

基本的な使用法

from huggingface_hub import login
import torch
import timm
from timm.data import resolve_data_config
from timm.data.transforms_factory import create_transform
from torchvision import transforms


# Login to the Hugging Face hub, using your user access token that can be found here:
# https://huggingface.co/settings/tokens.
login()

model = timm.create_model(
    "hf - hub:bioptimus/H0 - mini",
    pretrained=True,
    mlp_layer=timm.layers.SwiGLUPacked,
    act_layer=torch.nn.SiLU,
)
model.to("cuda")
model.eval()

transform = create_transform(**resolve_data_config(model.pretrained_cfg, model=model))

input = torch.rand(3, 224, 224)
input = transforms.ToPILImage()(input)

# We recommend using mixed precision for faster inference.
with torch.autocast(device_type="cuda", dtype=torch.float16):
    with torch.inference_mode():
        output = model(transform(input).unsqueeze(0).to("cuda"))  # (1, 261, 768)
        # CLS token features (1, 768):
        cls_features = output[:, 0]
        # Patch token features (1, 256, 768):
        patch_token_features = output[:, model.num_prefix_tokens :]
        # Concatenate the CLS token features with the mean of the patch token
        # features (1, 1536):
        concatenated_features = torch.cat(
            [cls_features, patch_token_features.mean(1)], dim=-1
        )

assert cls_features.shape == (1, 768)
assert patch_token_features.shape == (1, 256, 768)
assert concatenated_features.shape == (1, 1536)

これらの特徴は、ROI分類（線形またはk - NNプロービングを介して）、スライド分類（マルチインスタンス学習を介して）、セグメンテーション（例えばViT - Adapterを介して）などの下流アプリケーションに使用できます。

✨ 主な機能

• 低推論コスト：H0 - miniは、現在の組織学基盤モデルと同等の性能を、大幅に低減された推論コストで達成します。
• 頑健性：染色やスキャンプロトコルの変動に対して強い頑健性を示します。

📦 インストール

このモデルを使用するには、以下のソフトウェア依存関係が必要です。

• torch>==2.0.0: https://pytorch.org
• torchvision>=0.15.0: https://pytorch.org/vision/stable/index.html
• xformers>=0.0.18: https://github.com/facebookresearch/xformers

📚 ドキュメント

ライセンスに関する重要事項

• このモデルと関連コードはCC - BY - NC - ND 4.0ライセンスの下で公開されており、適切な帰属を伴う非商業的な学術研究目的でのみ使用できます。
• H0 - miniモデルとその派生品（H0 - miniモデルの出力を使用して学習されたモデルや、H0 - miniモデルから作成されたデータセットを含む）の商業的使用、販売、またはその他の収益化は禁止されており、事前の承認が必要です。
• Hugging Faceアカウントの登録に使用される主要なメールアドレスは、所属機関のメールアドレスと一致している必要があります。モデルをダウンロードすることで、すべての情報（所属、研究用途）が正確かつ最新であることを証明します。モデルのダウンロードには、Hugging Faceでの事前登録と利用規約への同意が必要です。このモデルをダウンロードすることで、モデルのコピーを配布、公開、または複製しないことに同意します。組織内の別のユーザーがH0 - miniモデルを使用したい場合は、個別ユーザーとして登録する必要があります。
• ユーザーは、基盤モデルの開発に使用された匿名化データを再識別しようとしてはなりません。
• このモデルは「現状のまま」で提供され、明示的または黙示的ないかなる保証もありません。このモデルは、FDA（米国）、EMA（ヨーロッパ）、MHRA（英国）などの規制機関によるレビュー、認証、または承認を受けていません。このモデルを医療または生物医学の設定で使用する場合は、関連する規制要件に準拠し、独立した検証を受ける必要があります。ユーザーは、このモデルの使用方法とその結果に対して完全な責任を負います。著者、貢献者、および配布者は、モデルの使用に起因する直接的または間接的な損害に対する責任を否認します。ユーザーは、患者データを含む研究で使用する際に、データ保護規制（例：GDPR、HIPAA）への準拠を確保する責任があります。
• 商業団体の場合は、ライセンスオプションについてhello [at] bioptimus.comまでご連絡ください。

ダウンロード時の入力項目

• 氏名（名と姓）
• 所属機関（略称なし）
• 所属機関の種類（学術界、産業界、その他）
• 現在の正式な所属機関のメールアドレス（Hugging Faceアカウントの主要なメールアドレスと一致する必要があり、@gmail/@hotmail/@qqのメールドメインは拒否されます）
• 主な使用ケース（様々なタスクでのモデルベンチマーク、バイオマーカー発見、診断、病理ワークフローの高速化（細胞・組織セグメンテーションなど）、その他）
• 予定されている研究用途に関する情報
• 上記のすべての条件に同意する
• モデルを配布しないことに同意する（組織内の別のユーザーがH0 - miniモデルを使用したい場合は、個別ユーザーとして登録する必要がある）
• このモデルを非商業的な学術目的のみで使用することに同意する
• Bioptimusからの更新情報を受け取ることに興味がある（任意）

🔧 技術詳細

H0 - miniは、H - optimus - 0 [1] (ViT - g/14)から蒸留されたVision Transformer Base/14モデルです。蒸留にはDINOv2 [2]の自己教師付き蒸留方法が使用され、PanCancer40M（TCGAの6,093枚の組織学的スライドから抽出された4300万枚の組織学的タイルのセット）で学習されています。

 図：PLISMデータセット[3]における染色およびスキャン条件に対するモデルの頑健性評価 - 各抽出器について、4,095個のスライドペアに対して中央値の上位10％精度と平均コサイン類似度が計算されました。両軸ともに、値が高いほど頑健なモデルを示します。

📄 ライセンス

このモデルはCC - BY - NC - ND 4.0ライセンスの下で提供されています。

謝辞

計算資源

この研究は、GENCIによる割り当て2023 - A0141012519、2024 - A0161012519、および2024 - GC011015442のもと、IDRISの高性能コンピューティング（HPC）リソースを利用して行われました。

コード

H0 - miniは、DINOv2リポジトリ（Apache License 2.0）をベースに構築されています。

データセット

ここで公開されている結果は、一部がTCGA Research Networkによって生成されたデータに基づいています：https://www.cancer.gov/tcga。

参考文献

1. Saillard, C., Jenatton, R., Llinares - López, F., Mariet, Z., Cahané, D., Durand, E., Vert, J. - P., 2024. H - optimus - 0.
2. Oquab, M., Darcet, T., Moutakanni, T., Vo, H., Szafraniec, M., Khalidov, V., ... & Bojanowski, P. (2023). Dinov2: Learning robust visual features without supervision. arXiv preprint arXiv:2304.07193.
3. Ochi, M., Komura, D., Onoyama, T., Shinbo, K., Endo, H., Odaka, H., ... & Ishikawa, S. (2024). Registered multi - device/staining histology image dataset for domain - agnostic machine learning models. Scientific Data, 11(1), 330.
4. Ilse, M., Tomczak, J., & Welling, M. (2018, July). Attention - based deep multiple instance learning. In International conference on machine learning (pp. 2127 - 2136). PMLR.

引用

このモデルを使用する場合は、以下のように引用してください。

@misc{filiot2025distillingfoundationmodelsrobust,
      title={Distilling foundation models for robust and efficient models in digital pathology}, 
      author={Alexandre Filiot and Nicolas Dop and Oussama Tchita and Auriane Riou and Thomas Peeters and Daria Valter and Marin Scalbert and Charlie Saillard and Geneviève Robin and Antoine Olivier},
      year={2025},
      eprint={2501.16239},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2501.16239}, 
}