Prompt2medimage

🚀 Prompt2MedImage - 用於醫學圖像的擴散模型

Prompt2MedImage 是一個潛在文本到圖像的擴散模型，它在 ROCO 數據集中的醫學圖像上進行了微調。該模型的權重可與 🧨Diffusers 庫配合使用。此模型是使用 Amazon SageMaker 和 Hugging Face 深度學習容器進行訓練的。

🚀 快速開始

安裝依賴

pip install diffusers transformers

運行示例代碼

運行帶有默認 PNDM 調度器的管道：

import torch
from diffusers import StableDiffusionPipeline

model_id = "Nihirc/Prompt2MedImage"
device = "cuda"

pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to(device)

prompt = "Showing the subtrochanteric fracture in the porotic bone."
image = pipe(prompt).images[0]  
    
image.save("porotic_bone_fracture.png")

✨ 主要特性

• 基於文本提示生成高質量的醫學圖像。
• 使用固定的預訓練文本編碼器（CLIP ViT - L/14），如 Imagen 論文 中所建議的那樣。

📦 安裝指南

pip install diffusers transformers

💻 使用示例

基礎用法

以下是運行帶有默認 PNDM 調度器的管道的示例代碼：

import torch
from diffusers import StableDiffusionPipeline

model_id = "Nihirc/Prompt2MedImage"
device = "cuda"

pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to(device)

prompt = "Showing the subtrochanteric fracture in the porotic bone."
image = pipe(prompt).images[0]  
    
image.save("porotic_bone_fracture.png")

高級用法

目前文檔未提供高級用法示例，可根據具體需求對基礎代碼進行擴展。

📚 詳細文檔

模型詳情

示例展示

示例 1

患者在小兒麻痺症後手部殘留麻痺。需要參照食指來穩定拇指。這是通過在第一和第二掌骨之間放置骨庫中的移植物來實現的。X 光片顯示一年後移植物完全癒合。

示例 2

一名 3 歲兒童有視覺障礙。軸位 FLAIR 圖像顯示一個鞍上病變沿著視束延伸至顳葉（箭頭所示），有中度佔位效應，符合視神經膠質瘤。在左中腦也注意到由於額外腫瘤累及導致的 FLAIR 高信號。

示例 3

顯示骨質疏鬆骨中的轉子下骨折。

許可證說明

本模型是開放訪問的，所有人都可以使用，並遵循“做你他媽的想做的事”公共許可證，該許可證進一步規定了權利和使用方式。

• 您不能使用該模型故意生成或分享非法或有害的輸出或內容。
• 作者對您生成的輸出不主張任何權利，您可以自由使用它們，並對其使用負責。
• 您可以重新分發權重，並將該模型用於商業用途和/或作為服務使用。

引用信息

O. Pelka, S. Koitka, J. Rückert, F. Nensa, C.M. Friedrich,
"Radiology Objects in COntext (ROCO): A Multimodal Image Dataset".
MICCAI Workshop on Large-scale Annotation of Biomedical Data and Expert Label Synthesis (LABELS) 2018, September 16, 2018, Granada, Spain. Lecture Notes on Computer Science (LNCS), vol. 11043, pp. 180-189, Springer Cham, 2018.
doi: 10.1007/978-3-030-01364-6_20