Midnight

🚀 Kaiko midnight

Midnight - 用少几个数量级的数据训练最先进的病理学基础模型

本仓库包含了论文 "Training state-of-the-art pathology foundation models with orders of magnitude less data" 中提出的 Midnight-12k 模型的检查点。尽管我们的模型在训练时使用的全切片图像（WSIs）数量显著减少，但与领先的病理学基础模型（FMs）相比，仍能取得有竞争力的性能。

🚀 快速开始

本仓库提供了 Midnight-12k 模型的检查点，可用于病理学相关任务。在使用模型前，请确保按照以下步骤准备好数据集。

✨ 主要特性

• 提出了一种基于 DINOv2 的改进自监督训练框架，针对计算病理学优化了模型性能。
• 训练了三种新颖的病理学基础模型，使用的数据量显著减少（最多减少 100 倍的 WSIs）。
• 引入高分辨率后训练，提高了嵌入质量。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import AutoImageProcessor, AutoModel
from PIL import Image
import requests
from torchvision.transforms import v2

url = 'https://upload.wikimedia.org/wikipedia/commons/8/80/Breast_DCIS_histopathology_%281%29.jpg'
image = Image.open(requests.get(url, stream=True).raw)

transform = v2.Compose(
    [
        v2.Resize(224),
        v2.CenterCrop(224),
        v2.ToTensor(),
        v2.Normalize(mean=(0.5, 0.5, 0.5), std=(0.5, 0.5, 0.5)),
    ]
)
model = AutoModel.from_pretrained('kaiko-ai/midnight')

高级用法

提取用于分类的嵌入

对于分割任务，模型输出对应 16x16 的补丁令牌（由 224/14 = 16 得出）。

import torch

def extract_classification_embedding(tensor):
    cls_embedding, patch_embeddings = tensor[:, 0, :], tensor[:, 1:, :]
    return torch.cat([cls_embedding, patch_embeddings.mean(1)], dim=-1)

batch = transform(image).unsqueeze(dim=0)
embedding = extract_classification_embedding(model(batch).last_hidden_state)
print(f"Embedding shape: {embedding[0].shape}")

提取用于分割的嵌入

import math
import torch

def extract_segmentation_embedding(tensor):
    features = tensor[:, 1:, :].permute(0, 2, 1)
    batch_size, hidden_size, patch_grid = features.shape
    height = width = int(math.sqrt(patch_grid))
    return features.view(batch_size, hidden_size, height, width)

batch = transform(image).unsqueeze(dim=0)
embedding = extract_segmentation_embedding(model(batch).last_hidden_state)
print(f"Embedding shape: {embedding[0].shape}")

📚 详细文档

模型亮点

• Midnight-12k：仅在公开可用的 TCGA 数据集（12k WSIs）上进行训练。
• Midnight-92k：在 TCGA 数据集和荷兰癌症研究所（NKI-80k）的专有数据集上进行训练。
• Midnight-92k/392：我们表现最佳的模型，经过高分辨率后训练进行微调。

模型权重

• Midnight-12k：根据宽松的 MIT 许可证，可在 此处 公开获取。
• Midnight-92k 和 Midnight-92k/392：在专有数据集上进行训练，访问受限。

训练数据集

训练组件

• DINOv2：使用 DINOv2 进行自监督训练。
• KDE 正则化器：替换 DINOv2 中的 KoLeo，以确保嵌入多样性和训练稳定性。
• 在线打补丁：高效实时提取信息丰富的图块。
• 颜色增强（HED）：提高对染色变化的鲁棒性。
• 图块过滤：去除低信息含量的组织区域。

评估

使用两组开源基准对模型进行了全面评估：

• eva：用于图块（分类、分割）和幻灯片级别的任务。
• HEST：用于基因表达预测任务（回归）。

我们表现最佳的模型 Midnight-92k/392 始终优于或与 Virchow2 和 UNI-2 等领先模型相匹配。

结果总结

🔧 技术细节

文档未提及具体技术实现细节（>50 字），故跳过此章节。

📄 许可证

本项目采用 MIT 许可证。

引用

@article{KDK2025,
  title={Training state-of-the-art pathology foundation models with orders of magnitude less data},
  author={Mikhail Karasikov and Joost van Doorn and Nicolas Känzig and Melis Erdal Cesur and Hugo Mark Horlings and Robert Berke and Fei Tang and Sebastian Otálora},
  year={2025},
  journal={arXiv preprint arXiv:2504.05186},
  url={https://arxiv.org/abs/2504.05186},
}