Path Foundation

🚀 Path Foundation模型卡片

Path Foundation是一款用于组织病理学应用的机器学习模型。它能够生成嵌入向量，可用于在苏木精和伊红（H&E）全切片图像（WSI）的组织病理学分析任务中，以更少的数据和计算资源高效训练分类器模型。

🚀 快速开始

你可以通过以下链接获取模型的相关资源：

• 模型文档：Path Foundation
• Google Cloud Model Garden上的模型：Path Foundation
• Hugging Face上的模型：google/path-foundation
• GitHub仓库（支持代码、Colab笔记本、讨论和问题）：path-foundation
• 快速开始笔记本：notebooks/quick_start
• 支持信息：请参阅联系我们。

使用条款：Health AI Developer Foundations使用条款

作者：Google

✨ 主要特性

• 高效训练：通过自监督学习生成嵌入向量，能以更少的数据和计算资源训练分类器模型。
• 广泛应用：生成的嵌入向量可用于多种下游任务，如癌症检测、分类和分级等。
• 特征空间探索：可用于探索组织病理学图像的特征空间，助力生物标志物开发。

📦 安装指南

以下是一些示例代码片段，可帮助你快速在本地运行模型。如果你想大规模使用该模型，建议使用Model Garden创建生产版本。

from PIL import Image as PILImage
from huggingface_hub import hf_hub_download, from_pretrained_keras
import tensorflow as tf
import numpy as np

# 从Hugging Face Hub下载测试图像
hf_hub_download(repo_id="google/path-foundation", filename='Test.png', local_dir='.')

# 打开图像，将其裁剪为符合预期的输入大小
img = PILImage.open("Test.png").crop((0, 0, 224, 224)).convert('RGB')

# 将图像转换为张量并缩放到[0, 1]（如有需要）
tensor = tf.cast(tf.expand_dims(np.array(img), axis=0), tf.float32) / 255.0

# 直接从Hugging Face Hub加载模型
loaded_model = from_pretrained_keras("google/path-foundation")

# 调用推理
infer = loaded_model.signatures["serving_default"]
embeddings = infer(tf.constant(tensor))

# 提取嵌入向量
embedding_vector = embeddings['output_0'].numpy().flatten()

💻 使用示例

基础用法

以下是在本地运行模型的示例代码：

from PIL import Image as PILImage
from huggingface_hub import hf_hub_download, from_pretrained_keras
import tensorflow as tf
import numpy as np

# 从Hugging Face Hub下载测试图像
hf_hub_download(repo_id="google/path-foundation", filename='Test.png', local_dir='.')

# 打开图像，将其裁剪为符合预期的输入大小
img = PILImage.open("Test.png").crop((0, 0, 224, 224)).convert('RGB')

# 将图像转换为张量并缩放到[0, 1]（如有需要）
tensor = tf.cast(tf.expand_dims(np.array(img), axis=0), tf.float32) / 255.0

# 直接从Hugging Face Hub加载模型
loaded_model = from_pretrained_keras("google/path-foundation")

# 调用推理
infer = loaded_model.signatures["serving_default"]
embeddings = infer(tf.constant(tensor))

# 提取嵌入向量
embedding_vector = embeddings['output_0'].numpy().flatten()

高级用法

你可以参考以下Colab笔记本了解如何使用Path Foundation进行更高级的应用：

• 快速尝试：在本地使用来自Hugging Face的权重运行模型，可查看Colab中的快速开始笔记本。
• 训练线性分类器（使用Google Cloud DICOM Store数据）：可查看Colab中的DICOM线性分类器笔记本。
• 训练线性分类器（使用Google Cloud Storage数据）：可查看Colab中的GCS端点线性分类器笔记本。

📚 详细文档

模型架构概述

Path Foundation采用ViT - S架构，并使用Masked Siamese Networks在不同放大倍数下进行特定领域的调优和优化。模型提供的特征表示为组织病理学的下游任务提供了强大的输入。更多信息可参考预印本Domain - specific optimization and diverse evaluation of self - supervised models for histopathology。

技术规格

性能和验证

在涉及17种独特组织类型、跨越不同最佳放大倍数和任务类型的11个基准任务的多样化集合上进行了线性探针评估。更多详细信息，包括幻灯片级任务（如组织类型分类和分子发现）以及数据滴定微调的额外结果，请参阅论文。

关键性能指标

• 93% - 一套组织病理学分类任务的线性探测AUC。95%置信区间：[92.9 - 93.8]

输入和输出

• 输入：来自苏木精和伊红（H&E）全切片图像（WSIs）的224 x 224像素图像块。Path Foundation与[EZ - WSI](https://github.com/GoogleCloudPlatform/EZ - WSI - DICOMweb/tree/main)紧密集成，这是一个用于数字病理学的库，可将WSIs处理为图像块并发送到模型。
• 输出：浮点值的嵌入向量（维度：384）。

🔧 技术细节

数据集详情

训练数据集

训练数据由来自The Cancer Genome Atlas（TCGA）的苏木精和伊红染色（H&E）WSIs组成，可在https://portal.gdc.cancer.gov访问。训练使用了跨越三种放大倍数（~2 µm/像素、~1 µm/像素、~0.5 µm/像素）和32项实体肿瘤TCGA研究（代表不同癌症类型，训练数据包括肿瘤和多种非肿瘤图像块）的6000万个图像块。

标注

模型使用自监督学习进行训练，即未使用监督标签。用于衡量模型在下游任务上性能的标签通过病理学家注释或幻灯片级元数据提供。

软件

训练使用[JAX](https://github.com/jax - ml/jax)进行。JAX允许研究人员利用包括TPU在内的最新一代硬件，以更快、更高效地训练大型模型。

📄 许可证

Path Foundation的使用受Health AI Developer Foundations使用条款的约束。

数据引用

Path Foundation的结果全部或部分基于TCGA研究网络生成的数据。

使用和限制

预期用途

• Path Foundation可减少开发针对H&E病理切片的特定任务模型所需的训练数据、计算资源和技术专业知识。
• 模型的嵌入向量可用于各种用户定义的下游任务，包括但不限于：癌症检测、分类和分级；元数据预测（染色、组织类型、标本类型等）；质量评估（如图像伪影）；以及相似图像搜索。
• 嵌入向量还可用于探索组织病理学图像的特征空间，以开发与预后和预测任务相关的生物标志物。

优点

• Path Foundation嵌入向量可用于H&E组织病理学图像分析的AI开发，与传统方法相比，所需的数据和计算资源显著减少。
• 通过利用Path Foundation训练的大量预训练图像，用户所需的数据更少，但可以构建比在更有限数据集上训练的模型更具泛化能力的模型。
• 提供组织病理学图像块的丰富、压缩表示。
• 帮助用户以更少的数据和计算资源为各种不同应用构建AI分类器。

限制

以下是一些已知的可能降低模型性能或降低对模型结果信心的因素：

• 该模型仅在涉及H&E组织病理学的许多潜在下游任务中的有限数量上进行了验证。
• 此模型版本仅在来自有限数量的扫描仪和国家的H&E图像上进行了训练和验证。
• 模型输出可能无法很好地泛化到训练中未使用的其他图像类型、患者群体或扫描仪制造商的数据。
• 特定任务的验证仍然是最终用户进行下游模型开发的重要方面。
• 训练和验证是在对应于5x、10x和20x放大倍数（分别约为2 µm/像素、1 µm/像素和0.5 µm/像素）的图像块上进行的。使用对应于其他放大倍数的输入图像块尚未进行评估。
• 该模型仅用于生成用户提供数据的嵌入向量，本身不生成任何预测或诊断。
• 与任何研究一样，开发人员应确保任何下游应用都经过验证，以了解使用与特定应用预期使用环境（如年龄、性别、病情、扫描仪等）适当代表的数据的性能。