SD14 Pathology Controlnet

🚀 controlnet-RiddleHe/SD14_pathology_controlnet

這是在CompVis/stable-diffusion-v1-4基礎上，使用新型條件訓練得到的ControlNet權重。可用於生成特定的病理圖像。

🚀 快速開始

模型信息

示例圖像

• 提示詞：A histopathology image of breast cancer tissue.
• 提示詞：An image of breast cancer histopathology with detailed cellular structures.

✨ 主要特性

該模型基於ControlNet，在CompVis/stable-diffusion-v1-4基礎上進行訓練，能夠根據特定的病理掩碼生成對應的病理圖像。

💻 使用示例

基礎用法

controlnet = ControlNetModel.from_pretrained("RiddleHe/SD14_pathology_controlnet", torch_dtype=torch.float16)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "RiddleHe/SD14_pathology_base", controlnet=controlnet, torch_dtype=torch.float16
)
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

prompt = "A histopathology image of breast cancer tissue."
mask = mask.convert("RGB")  # Provide a mask

generator = torch.Generator(device='cuda').manual_seed(42)

with torch.no_grad():
  out = pipe(prompt, image=mask, num_inference_steps=70, num_images_per_prompt=3, generator=generator).images

📚 詳細文檔

預期用途與限制

如何使用

上述代碼示例展示瞭如何加載模型並進行推理。首先加載ControlNet模型，然後將其與基礎的StableDiffusion模型組合成一個管道。接著設置調度器，將模型移動到GPU上。最後，提供提示詞和掩碼圖像，進行推理生成圖像。

限制和偏差

[TODO: 提供潛在問題的示例和可能的補救措施]

🔧 技術細節

該模型在BRCA乳腺癌數據集的28216個圖像 - 掩碼對上進行訓練。輸入為掩碼圖像，輸出為對應的病理圖像。掩碼是一個單通道圖像，整數值範圍從0到21，代表22個類別，例如1代表腫瘤，2代表基質。

📄 許可證

本模型使用的許可證為creativeml-openrail-m。