H Optimus 0

🚀 H-optimus-0

H-optimus-0 是由 Bioptimus 開發的一款用於組織學研究的開源基礎模型。該模型是一個擁有 11 億參數的視覺變換器，在超過 50 萬張蘇木精 - 伊紅（H&E）染色的全切片組織學圖像的專有數據集上進行訓練。H-optimus-0 可用於從組織學圖像中提取強大的特徵，以應用於各種下游任務，如突變預測、生存分析或組織分類等。如需更多信息，請訪問我們的 GitHub 倉庫。

🚀 快速開始

模型信息

模型使用

提取特徵

H-optimus-0 期望輸入尺寸為 224x224 且每像素 0.5 微米的圖像。以下代碼可用於運行推理：

from huggingface_hub import login
import torch
import timm 
from torchvision import transforms

# Login to the Hugging Face hub, using your user access token that can be found here:
# https://huggingface.co/settings/tokens.
login()

model = timm.create_model(
    "hf-hub:bioptimus/H-optimus-0", pretrained=True, init_values=1e-5, dynamic_img_size=False
)
model.to("cuda")
model.eval()

transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize(
        mean=(0.707223, 0.578729, 0.703617), 
        std=(0.211883, 0.230117, 0.177517)
    ),
])

input = torch.rand(3, 224, 224)
input = transforms.ToPILImage()(input)

# We recommend using mixed precision for faster inference.
with torch.autocast(device_type="cuda", dtype=torch.float16):
    with torch.inference_mode():
        features = model(transform(input).unsqueeze(0).to("cuda"))

assert features.shape == (1, 1536)

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 引用信息

如果您覺得本倉庫有用，請考慮引用我們的工作：

@software{hoptimus0,
  author = {Saillard, Charlie and Jenatton, Rodolphe and Llinares-López, Felipe and Mariet, Zelda and Cahané, David and Durand, Eric and Vert, Jean-Philippe},
  title = {H-optimus-0},
  url = {https://github.com/bioptimus/releases/tree/main/models/h-optimus/v0},
  year = {2024},
}