Midnight

🚀 Kaiko midnight

Midnight - 用少幾個數量級的數據訓練最先進的病理學基礎模型

本倉庫包含了論文 "Training state-of-the-art pathology foundation models with orders of magnitude less data" 中提出的 Midnight-12k 模型的檢查點。儘管我們的模型在訓練時使用的全切片圖像（WSIs）數量顯著減少，但與領先的病理學基礎模型（FMs）相比，仍能取得有競爭力的性能。

🚀 快速開始

本倉庫提供了 Midnight-12k 模型的檢查點，可用於病理學相關任務。在使用模型前，請確保按照以下步驟準備好數據集。

✨ 主要特性

• 提出了一種基於 DINOv2 的改進自監督訓練框架，針對計算病理學優化了模型性能。
• 訓練了三種新穎的病理學基礎模型，使用的數據量顯著減少（最多減少 100 倍的 WSIs）。
• 引入高分辨率後訓練，提高了嵌入質量。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoImageProcessor, AutoModel
from PIL import Image
import requests
from torchvision.transforms import v2

url = 'https://upload.wikimedia.org/wikipedia/commons/8/80/Breast_DCIS_histopathology_%281%29.jpg'
image = Image.open(requests.get(url, stream=True).raw)

transform = v2.Compose(
    [
        v2.Resize(224),
        v2.CenterCrop(224),
        v2.ToTensor(),
        v2.Normalize(mean=(0.5, 0.5, 0.5), std=(0.5, 0.5, 0.5)),
    ]
)
model = AutoModel.from_pretrained('kaiko-ai/midnight')

高級用法

提取用於分類的嵌入

對於分割任務，模型輸出對應 16x16 的補丁令牌（由 224/14 = 16 得出）。

import torch

def extract_classification_embedding(tensor):
    cls_embedding, patch_embeddings = tensor[:, 0, :], tensor[:, 1:, :]
    return torch.cat([cls_embedding, patch_embeddings.mean(1)], dim=-1)

batch = transform(image).unsqueeze(dim=0)
embedding = extract_classification_embedding(model(batch).last_hidden_state)
print(f"Embedding shape: {embedding[0].shape}")

提取用於分割的嵌入

import math
import torch

def extract_segmentation_embedding(tensor):
    features = tensor[:, 1:, :].permute(0, 2, 1)
    batch_size, hidden_size, patch_grid = features.shape
    height = width = int(math.sqrt(patch_grid))
    return features.view(batch_size, hidden_size, height, width)

batch = transform(image).unsqueeze(dim=0)
embedding = extract_segmentation_embedding(model(batch).last_hidden_state)
print(f"Embedding shape: {embedding[0].shape}")

📚 詳細文檔

模型亮點

• Midnight-12k：僅在公開可用的 TCGA 數據集（12k WSIs）上進行訓練。
• Midnight-92k：在 TCGA 數據集和荷蘭癌症研究所（NKI-80k）的專有數據集上進行訓練。
• Midnight-92k/392：我們表現最佳的模型，經過高分辨率後訓練進行微調。

模型權重

• Midnight-12k：根據寬鬆的 MIT 許可證，可在 此處 公開獲取。
• Midnight-92k 和 Midnight-92k/392：在專有數據集上進行訓練，訪問受限。

訓練數據集

訓練組件

• DINOv2：使用 DINOv2 進行自監督訓練。
• KDE 正則化器：替換 DINOv2 中的 KoLeo，以確保嵌入多樣性和訓練穩定性。
• 在線打補丁：高效即時提取信息豐富的圖塊。
• 顏色增強（HED）：提高對染色變化的魯棒性。
• 圖塊過濾：去除低信息含量的組織區域。

評估

使用兩組開源基準對模型進行了全面評估：

• eva：用於圖塊（分類、分割）和幻燈片級別的任務。
• HEST：用於基因表達預測任務（迴歸）。

我們表現最佳的模型 Midnight-92k/392 始終優於或與 Virchow2 和 UNI-2 等領先模型相匹配。

結果總結

🔧 技術細節

文檔未提及具體技術實現細節（>50 字），故跳過此章節。

📄 許可證

本項目採用 MIT 許可證。

引用

@article{KDK2025,
  title={Training state-of-the-art pathology foundation models with orders of magnitude less data},
  author={Mikhail Karasikov and Joost van Doorn and Nicolas Känzig and Melis Erdal Cesur and Hugo Mark Horlings and Robert Berke and Fei Tang and Sebastian Otálora},
  year={2025},
  journal={arXiv preprint arXiv:2504.05186},
  url={https://arxiv.org/abs/2504.05186},
}