Midnight

🚀 Kaiko midnight

Midnightは、病理学の最先端の基礎モデルを桁違いに少ないデータで訓練する手法です。この手法は、大量の全スライド画像（WSI）を使わずに、高い性能を達成することができます。

🚀 クイックスタート

このリポジトリには、論文「Training state-of-the-art pathology foundation models with orders of magnitude less data」で提示されたMidnight-12kモデルのチェックポイントが含まれています。私たちのアプローチは、他の主要な病理学の基礎モデル（FM）と比較して、大幅に少ない全スライド画像（WSI）で訓練されながらも、競争力のある性能を達成しています。

✨ 主な機能

私たちは、DINOv2に基づいた改良された自己教師付き学習フレームワークを提案しています。このフレームワークは、コンピューター病理学に特化したモデル性能を最適化するための修正を含んでいます。主な貢献は以下の通りです。

• 大幅に削減されたデータ（最大100倍少ないWSI）で訓練された3つの新しい病理学FM。
• 埋め込み品質を向上させるための高解像度事後訓練の導入。

📦 インストール

本READMEにはインストール手順に関する記載がありません。

💻 使用例

基本的な使用法

from transformers import AutoImageProcessor, AutoModel
from PIL import Image
import requests
from torchvision.transforms import v2

url = 'https://upload.wikimedia.org/wikipedia/commons/8/80/Breast_DCIS_histopathology_%281%29.jpg'
image = Image.open(requests.get(url, stream=True).raw)

transform = v2.Compose(
    [
        v2.Resize(224),
        v2.CenterCrop(224),
        v2.ToTensor(),
        v2.Normalize(mean=(0.5, 0.5, 0.5), std=(0.5, 0.5, 0.5)),
    ]
)
model = AutoModel.from_pretrained('kaiko-ai/midnight')

高度な使用法

分類用の埋め込みを抽出する

import torch

def extract_classification_embedding(tensor):
    cls_embedding, patch_embeddings = tensor[:, 0, :], tensor[:, 1:, :]
    return torch.cat([cls_embedding, patch_embeddings.mean(1)], dim=-1)

batch = transform(image).unsqueeze(dim=0)
embedding = extract_classification_embedding(model(batch).last_hidden_state)
print(f"Embedding shape: {embedding[0].shape}")

セグメンテーション用の埋め込みを抽出する

import math
import torch

def extract_segmentation_embedding(tensor):
    features = tensor[:, 1:, :].permute(0, 2, 1)
    batch_size, hidden_size, patch_grid = features.shape
    height = width = int(math.sqrt(patch_grid))
    return features.view(batch_size, hidden_size, height, width)

batch = transform(image).unsqueeze(dim=0)
embedding = extract_segmentation_embedding(model(batch).last_hidden_state)
print(f"Embedding shape: {embedding[0].shape}")

📚 ドキュメント

モデルの特徴

• Midnight-12k：公開されているTCGAデータセット（12kのWSI）のみで訓練されました。
• Midnight-92k：TCGAとオランダがん研究所（NKI-80k）からの追加の独自データセットで訓練されました。
• Midnight-92k/392：高解像度事後訓練で微調整された、最も性能の高いモデルです。

モデルの重み

• Midnight-12k：許容的なMITライセンスの下で公開されています。
• Midnight-92kとMidnight-92k/392：独自データセットで訓練されており、アクセスが制限されています。

訓練データセット

訓練コンポーネント

• DINOv2：DINOv2を使用した自己教師付き学習。
• KDE正則化器：DINOv2のKoLeoを置き換えて、埋め込みの多様性と訓練の安定性を確保します。
• オンラインパッチング：有益なタイルを効率的にリアルタイムで抽出します。
• 色の増強（HED）：染色の変動に対するロバスト性を高めます。
• タイルフィルタリング：情報量の少ない組織領域を削除します。

評価

私たちは、2つのオープンソースのベンチマークを使用して、モデルを包括的に評価しました。

• eva：タイル（分類、セグメンテーション）およびスライドレベルのタスクに使用。
• HEST：遺伝子発現予測タスク（回帰）に使用。

私たちの最良のモデルであるMidnight-92k/392は、Virchow2やUNI-2などの主要なモデルを常に上回るか、同等の性能を発揮しています。

結果の要約

🔧 技術詳細

本READMEには技術詳細に関する記載がありません。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 引用

@article{KDK2025,
   title={Training state-of-the-art pathology foundation models with orders of magnitude less data},
   author={Mikhail Karasikov and Joost van Doorn and Nicolas Känzig and Melis Erdal Cesur and Hugo Mark Horlings and Robert Berke and Fei Tang and Sebastian Otálora},
   year={2025},
   journal={arXiv preprint arXiv:2504.05186},
   url={https://arxiv.org/abs/2504.05186},
}