Medvae

🚀 MedVAE

MedVAE是一系列包含六個可泛化的大規模2D和3D變分自編碼器（VAE）的模型族，專為醫學成像設計。它在跨越多個解剖區域和成像模態的超過一百萬個醫學圖像上進行訓練。MedVAE自編碼器將醫學圖像編碼為尺寸縮小的潛在表示，並將潛在表示解碼回高分辨率圖像。在從20個醫學圖像數據集中獲得的各種任務中，我們證明了在訓練下游模型時，使用MedVAE潛在表示代替高分辨率圖像可以帶來效率提升（吞吐量最高可提高70倍），同時保留與臨床相關的特徵。

[💻 Github] [📄 Paper]

🚀 快速開始

MedVAE是專為醫學成像設計的變分自編碼器模型族，通過在大量醫學圖像上訓練，能有效編碼和解碼醫學圖像。使用其潛在表示訓練下游模型可提升效率並保留關鍵特徵。

✨ 主要特性

• 大規模訓練：在超過一百萬個醫學圖像上進行訓練，涵蓋多個解剖區域和成像模態。
• 高效編碼解碼：將醫學圖像編碼為潛在表示，再解碼回高分辨率圖像。
• 效率提升：使用潛在表示訓練下游模型，吞吐量最高可提高70倍。
• 特徵保留：在提升效率的同時，保留與臨床相關的特徵。

📦 安裝指南

常規安裝

你可以通過以下命令輕鬆安裝MedVAE：

pip install medvae

可編輯安裝

若你需要進行開發，可以使用以下命令克隆並安裝該項目：

git clone https://github.com/StanfordMIMI/MedVAE.git
cd medvae
pip install -e .[dev]

📚 詳細文檔

📌 模型描述

注意：模型權重和檢查點文件位於model_weights文件夾中。

💻 使用示例

基礎用法

我們提供了易於使用的命令行界面（CLI）推理工具，用於將高維醫學圖像壓縮為可用的潛在表示：

medvae_inference -i INPUT_FOLDER -o OUTPUT_FOLDER -model_name MED_VAE_MODEL -modality MODALITY

📄 許可證

本項目採用MIT許可證。

📎 引用

如果你使用了MedVAE，請引用原始論文：

@misc{varma2025medvaeefficientautomatedinterpretation,
      title={MedVAE: Efficient Automated Interpretation of Medical Images with Large-Scale Generalizable Autoencoders}, 
      author={Maya Varma and Ashwin Kumar and Rogier van der Sluijs and Sophie Ostmeier and Louis Blankemeier and Pierre Chambon and Christian Bluethgen and Jip Prince and Curtis Langlotz and Akshay Chaudhari},
      year={2025},
      eprint={2502.14753},
      archivePrefix={arXiv},
      primaryClass={eess.IV},
      url={https://arxiv.org/abs/2502.14753}, 
}

若有任何問題，請在Github Issues中留言。