H Optimus 0

🚀 H-optimus-0

H-optimus-0は、Bioptimusによって開発された、組織学用のオープンソースの基盤モデルです。このモデルは、50万枚以上のH&E染色全スライド組織学画像の独自コレクションで学習された、11億パラメータのビジョントランスフォーマーです。詳細については、こちらのGitHubリポジトリを参照してください。

H-optimus-0は、突然変異予測、生存解析、組織分類などのさまざまな下流アプリケーションのために、組織学画像から強力な特徴を抽出するために使用できます。

🚀 クイックスタート

特徴抽出の方法

以下のコードを使用して推論を実行できます。H-optimus-0は、1ピクセルあたり0.5ミクロンで抽出された224x224サイズの画像を想定しています。

from huggingface_hub import login
import torch
import timm 
from torchvision import transforms

# Login to the Hugging Face hub, using your user access token that can be found here:
# https://huggingface.co/settings/tokens.
login()

model = timm.create_model(
    "hf-hub:bioptimus/H-optimus-0", pretrained=True, init_values=1e-5, dynamic_img_size=False
)
model.to("cuda")
model.eval()

transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize(
        mean=(0.707223, 0.578729, 0.703617), 
        std=(0.211883, 0.230117, 0.177517)
    ),
])

input = torch.rand(3, 224, 224)
input = transforms.ToPILImage()(input)

# We recommend using mixed precision for faster inference.
with torch.autocast(device_type="cuda", dtype=torch.float16):
    with torch.inference_mode():
        features = model(transform(input).unsqueeze(0).to("cuda"))

assert features.shape == (1, 1536)

📚 詳細ドキュメント

BibTeXエントリと引用情報

このリポジトリが役に立った場合は、以下のように引用を検討してください。

@software{hoptimus0,
  author = {Saillard, Charlie and Jenatton, Rodolphe and Llinares-López, Felipe and Mariet, Zelda and Cahané, David and Durand, Eric and Vert, Jean-Philippe},
  title = {H-optimus-0},
  url = {https://github.com/bioptimus/releases/tree/main/models/h-optimus/v0},
  year = {2024},
}

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。