Openphenom

🚀 OpenPhenom - S/16 模型卡片

OpenPhenom - S/16 是一款专为显微镜图像特征提取而设计的模型。它采用基于 ViT - S/16 编码器骨干的通道无关图像编码模型 CA - MAE，利用视觉变换器骨干网络，通过对补丁令牌进行通道交叉注意力机制，为每个通道分别创建上下文表示，从而实现显微镜图像的特征化。

🚀 快速开始

你应该能够成功运行以下测试，这些测试展示了如何在推理时使用该模型。

import pytest
import torch

from huggingface_mae import MAEModel

# huggingface_openphenom_model_dir = "."
huggingface_modelpath = "recursionpharma/OpenPhenom"


@pytest.fixture
def huggingface_model():
    # This step downloads the model to a local cache, takes a bit to run
    huggingface_model = MAEModel.from_pretrained(huggingface_modelpath)
    huggingface_model.eval()
    return huggingface_model


@pytest.mark.parametrize("C", [1, 4, 6, 11])
@pytest.mark.parametrize("return_channelwise_embeddings", [True, False])
def test_model_predict(huggingface_model, C, return_channelwise_embeddings):
    example_input_array = torch.randint(
        low=0,
        high=255,
        size=(2, C, 256, 256),
        dtype=torch.uint8,
        device=huggingface_model.device,
    )
    huggingface_model.return_channelwise_embeddings = return_channelwise_embeddings
    embeddings = huggingface_model.predict(example_input_array)
    expected_output_dim = 384 * C if return_channelwise_embeddings else 384
    assert embeddings.shape == (2, expected_output_dim)

我们还提供了一个[笔记本](https://huggingface.co/recursionpharma/OpenPhenom/blob/main/RxRx3 - core_inference.ipynb)，用于在 [RxRx3 - core](https://huggingface.co/datasets/recursionpharma/rxrx3 - core) 上运行推理。

✨ 主要特性

• 专为显微镜图像特征提取设计，采用通道无关的掩码自编码器（CA - MAE）架构。
• 使用视觉变换器骨干网络，通过通道交叉注意力机制为每个通道创建上下文表示。
• 可在三个数据集上进行训练，以重建显微镜图像。

📚 详细文档

模型详情

模型描述

该模型是一个通道无关的掩码自编码器，在以下三个数据集上进行训练以重建显微镜图像：

1. RxRx3
2. JUMP - CP 过表达
3. JUMP - CP 基因敲除

• 开发者、资助者和共享者： Recursion
• 模型类型： 视觉变换器 CA - MAE
• 图像模态： 针对 CellPainting 分析中的显微镜图像进行了优化
• 许可证： 非商业最终用户许可协议

模型来源

• 仓库： https://github.com/recursionpharma/maes_microscopy
• 论文： Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology

用途

⚠️ 重要提示

模型嵌入往往只有在使用标准的批量校正后处理技术后才能提取特征。我们建议，至少在对图像进行模型推理后，进行标准的 PCA - CenterScale 模式处理，或者更好的做法是进行典型变异归一化：

1. 对所有实验批次（例如分析中的孔板）中的所有对照图像（如果没有对照，则为所有图像）拟合一个 PCA 核。
2. 使用该 PCA 核对所有嵌入进行转换。
3. 对于每个实验批次，对步骤 2 中对照的转换后嵌入分别拟合一个 StandardScaler，然后使用该 StandardScaler 对该批次的其余嵌入进行转换。

直接用途

• 创建显微镜图像的生物学有用嵌入。
• 创建显微镜图像每个通道的上下文嵌入（设置 return_channelwise_embeddings = True）。
• 利用完整的 MAE 编码器 + 解码器为没有所有 6 个 CellPainting 通道的图像预测新的通道/染色。

下游用途

• 有经验的机器学习专家可以对编码器进行微调，以用于下游任务，如分类。

非适用用途

• 在明场显微镜图像上不太可能有特别好的表现。
• 不适用于域外医学图像，如 H&E 图像（不过可能是一个不错的基线）。

偏差、风险和局限性

• 主要局限性在于，嵌入在大规模数据下往往更有用。例如，如果您只有 1 板显微镜图像，与有监督的定制模型相比，嵌入的性能可能较差。

训练、评估和测试详情

有关模型训练和评估的详细信息，请参阅上述链接的论文。主要超参数包含在上述链接的仓库中。

环境影响

• 硬件类型： Nvidia H100 Hopper 节点
• 使用时长： 400 小时
• 云服务提供商： 私有云
• 碳排放： 138.24 千克二氧化碳（大约相当于一辆汽车从多伦多开到蒙特利尔的排放量）

BibTeX 引用：

@inproceedings{kraus2024masked,
  title={Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology},
  author={Kraus, Oren and Kenyon-Dean, Kian and Saberian, Saber and Fallah, Maryam and McLean, Peter and Leung, Jess and Sharma, Vasudev and Khan, Ayla and Balakrishnan, Jia and Celik, Safiye and others},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={11757--11768},
  year={2024}
}

模型卡片联系方式

• Kian Kenyon - Dean：kian.kd@recursion.com
• Oren Kraus：oren.kraus@recursion.com
• 或者发送邮件至：info@rxrx.ai