Openphenom

🚀 OpenPhenom-S/16 モデルカード

OpenPhenom-S/16は、顕微鏡画像の特徴抽出を目的とした、ViT-S/16エンコーダバックボーンを持つチャネル非依存型画像エンコーディングモデルCA-MAEです。このモデルは、パッチトークンに対するチャネル単位のクロスアテンションを持つビジョントランスフォーマーのバックボーンを使用して、各チャネルに対して別々に文脈化された表現を作成します。

🚀 クイックスタート

このモデルを推論時に使用する方法を以下のテストで示します。

import pytest
import torch

from huggingface_mae import MAEModel

# huggingface_openphenom_model_dir = "."
huggingface_modelpath = "recursionpharma/OpenPhenom"


@pytest.fixture
def huggingface_model():
    # This step downloads the model to a local cache, takes a bit to run
    huggingface_model = MAEModel.from_pretrained(huggingface_modelpath)
    huggingface_model.eval()
    return huggingface_model


@pytest.mark.parametrize("C", [1, 4, 6, 11])
@pytest.mark.parametrize("return_channelwise_embeddings", [True, False])
def test_model_predict(huggingface_model, C, return_channelwise_embeddings):
    example_input_array = torch.randint(
        low=0,
        high=255,
        size=(2, C, 256, 256),
        dtype=torch.uint8,
        device=huggingface_model.device,
    )
    huggingface_model.return_channelwise_embeddings = return_channelwise_embeddings
    embeddings = huggingface_model.predict(example_input_array)
    expected_output_dim = 384 * C if return_channelwise_embeddings else 384
    assert embeddings.shape == (2, expected_output_dim)

また、RxRx3-coreで推論を実行するためのノートブックも提供しています。

✨ 主な機能

• 顕微鏡画像の生物学的に有用な埋め込みを作成する
• 顕微鏡画像の各チャネルの文脈化された埋め込みを作成する（return_channelwise_embeddings=Trueを設定）
• 全ての6つのCellPaintingチャネルがない画像に対して、新しいチャネル/染色を予測するために、完全なMAEエンコーダ+デコーダを活用する

📚 ドキュメント

モデルの詳細

モデルの説明

このモデルは、3つのデータセット（RxRx3、JUMP-CP overexpression、JUMP-CP gene-knockouts）上で顕微鏡画像を再構築するように訓練されたチャネル非依存型マスク付きオートエンコーダです。

• 開発、資金提供、共有元: Recursion
• モデルの種類: ビジョントランスフォーマーCA-MAE
• 画像のモダリティ: CellPaintingアッセイからの顕微鏡画像に最適化
• ライセンス: 非商用エンドユーザーライセンス契約

モデルのソース

• リポジトリ: https://github.com/recursionpharma/maes_microscopy
• 論文: Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology

モデルの使用方法

⚠️ 重要提示

モデルの埋め込みは、標準的なバッチ補正後処理技術を使用した後にのみ、特徴を抽出する傾向があります。推奨するのは、最低限、あなたの画像に対してモデルを推論した後、標準的なPCA-CenterScaleパターン、またはそれ以上に典型的な変動正規化を行うことです。

1. すべての実験バッチ（例えば、アッセイのウェルのプレート）からのすべてのコントロール画像（またはコントロールがない場合はすべての画像）に対してPCAカーネルを適合させます。
2. そのPCAカーネルを使用してすべての埋め込みを変換します。
3. 各実験バッチについて、ステップ2のコントロールの変換された埋め込みに対して別々のStandardScalerを適合させ、その後、そのバッチの残りの埋め込みをそのStandardScalerで変換します。

直接的な使用

• 顕微鏡画像の生物学的に有用な埋め込みを作成する
• 顕微鏡画像の各チャネルの文脈化された埋め込みを作成する（return_channelwise_embeddings=Trueを設定）
• 全ての6つのCellPaintingチャネルがない画像に対して、新しいチャネル/染色を予測するために、完全なMAEエンコーダ+デコーダを活用する

下流の使用

• 熟練したMLエキスパートは、分類などの下流タスクのためにエンコーダを微調整することができます。

範囲外の使用

• 明視野顕微鏡画像では特に高性能であるとは期待できません。
• ドメイン外の医用画像、例えばH&E画像（ただし、適度なベースラインになるかもしれません）

バイアス、リスク、制限事項

主な制限は、埋め込みが大規模でより有用になる傾向があることです。例えば、顕微鏡画像が1枚のプレートしかない場合、埋め込みは教師ありの独自モデルと比較して性能が劣る可能性があります。

訓練、評価、テストの詳細

モデルの訓練と評価の詳細については、上記の論文を参照してください。主なハイパーパラメータは、上記のリポジトリに含まれています。

環境への影響

BibTeX引用

@inproceedings{kraus2024masked,
  title={Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology},
  author={Kraus, Oren and Kenyon-Dean, Kian and Saberian, Saber and Fallah, Maryam and McLean, Peter and Leung, Jess and Sharma, Vasudev and Khan, Ayla and Balakrishnan, Jia and Celik, Safiye and others},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={11757--11768},
  year={2024}
}

モデルカードの問い合わせ先

• Kian Kenyon-Dean: kian.kd@recursion.com
• Oren Kraus: oren.kraus@recursion.com
• または、メール: info@rxrx.ai

📄 ライセンス

このモデルは非商用エンドユーザーライセンス契約の下で提供されています。