Openphenom

🚀 OpenPhenom - S/16 模型卡片

OpenPhenom - S/16 是一款專為顯微鏡圖像特徵提取而設計的模型。它採用基於 ViT - S/16 編碼器骨幹的通道無關圖像編碼模型 CA - MAE，利用視覺變換器骨幹網絡，通過對補丁令牌進行通道交叉注意力機制，為每個通道分別創建上下文表示，從而實現顯微鏡圖像的特徵化。

🚀 快速開始

你應該能夠成功運行以下測試，這些測試展示瞭如何在推理時使用該模型。

import pytest
import torch

from huggingface_mae import MAEModel

# huggingface_openphenom_model_dir = "."
huggingface_modelpath = "recursionpharma/OpenPhenom"


@pytest.fixture
def huggingface_model():
    # This step downloads the model to a local cache, takes a bit to run
    huggingface_model = MAEModel.from_pretrained(huggingface_modelpath)
    huggingface_model.eval()
    return huggingface_model


@pytest.mark.parametrize("C", [1, 4, 6, 11])
@pytest.mark.parametrize("return_channelwise_embeddings", [True, False])
def test_model_predict(huggingface_model, C, return_channelwise_embeddings):
    example_input_array = torch.randint(
        low=0,
        high=255,
        size=(2, C, 256, 256),
        dtype=torch.uint8,
        device=huggingface_model.device,
    )
    huggingface_model.return_channelwise_embeddings = return_channelwise_embeddings
    embeddings = huggingface_model.predict(example_input_array)
    expected_output_dim = 384 * C if return_channelwise_embeddings else 384
    assert embeddings.shape == (2, expected_output_dim)

我們還提供了一個[筆記本](https://huggingface.co/recursionpharma/OpenPhenom/blob/main/RxRx3 - core_inference.ipynb)，用於在 [RxRx3 - core](https://huggingface.co/datasets/recursionpharma/rxrx3 - core) 上運行推理。

✨ 主要特性

• 專為顯微鏡圖像特徵提取設計，採用通道無關的掩碼自編碼器（CA - MAE）架構。
• 使用視覺變換器骨幹網絡，通過通道交叉注意力機制為每個通道創建上下文表示。
• 可在三個數據集上進行訓練，以重建顯微鏡圖像。

📚 詳細文檔

模型詳情

模型描述

該模型是一個通道無關的掩碼自編碼器，在以下三個數據集上進行訓練以重建顯微鏡圖像：

1. RxRx3
2. JUMP - CP 過表達
3. JUMP - CP 基因敲除

• 開發者、資助者和共享者： Recursion
• 模型類型： 視覺變換器 CA - MAE
• 圖像模態： 針對 CellPainting 分析中的顯微鏡圖像進行了優化
• 許可證： 非商業最終用戶許可協議

模型來源

• 倉庫： https://github.com/recursionpharma/maes_microscopy
• 論文： Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology

用途

⚠️ 重要提示

模型嵌入往往只有在使用標準的批量校正後處理技術後才能提取特徵。我們建議，至少在對圖像進行模型推理後，進行標準的 PCA - CenterScale 模式處理，或者更好的做法是進行典型變異歸一化：

1. 對所有實驗批次（例如分析中的孔板）中的所有對照圖像（如果沒有對照，則為所有圖像）擬合一個 PCA 核。
2. 使用該 PCA 核對所有嵌入進行轉換。
3. 對於每個實驗批次，對步驟 2 中對照的轉換後嵌入分別擬合一個 StandardScaler，然後使用該 StandardScaler 對該批次的其餘嵌入進行轉換。

直接用途

• 創建顯微鏡圖像的生物學有用嵌入。
• 創建顯微鏡圖像每個通道的上下文嵌入（設置 return_channelwise_embeddings = True）。
• 利用完整的 MAE 編碼器 + 解碼器為沒有所有 6 個 CellPainting 通道的圖像預測新的通道/染色。

下游用途

• 有經驗的機器學習專家可以對編碼器進行微調，以用於下游任務，如分類。

非適用用途

• 在明場顯微鏡圖像上不太可能有特別好的表現。
• 不適用於域外醫學圖像，如 H&E 圖像（不過可能是一個不錯的基線）。

偏差、風險和侷限性

• 主要侷限性在於，嵌入在大規模數據下往往更有用。例如，如果您只有 1 板顯微鏡圖像，與有監督的定製模型相比，嵌入的性能可能較差。

訓練、評估和測試詳情

有關模型訓練和評估的詳細信息，請參閱上述鏈接的論文。主要超參數包含在上述鏈接的倉庫中。

環境影響

• 硬件類型： Nvidia H100 Hopper 節點
• 使用時長： 400 小時
• 雲服務提供商： 私有云
• 碳排放： 138.24 千克二氧化碳（大約相當於一輛汽車從多倫多開到蒙特利爾的排放量）

BibTeX 引用：

@inproceedings{kraus2024masked,
  title={Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology},
  author={Kraus, Oren and Kenyon-Dean, Kian and Saberian, Saber and Fallah, Maryam and McLean, Peter and Leung, Jess and Sharma, Vasudev and Khan, Ayla and Balakrishnan, Jia and Celik, Safiye and others},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={11757--11768},
  year={2024}
}

模型卡片聯繫方式

• Kian Kenyon - Dean：kian.kd@recursion.com
• Oren Kraus：oren.kraus@recursion.com
• 或者發送郵件至：info@rxrx.ai