SD14 Pathology Controlnet

🚀 controlnet-RiddleHe/SD14_pathology_controlnet

このモデルは、CompVis/stable-diffusion-v1-4 をベースに新しいコンディショニング方式で学習されたControlNetの重みです。以下にいくつかのサンプル画像をご紹介します。

🚀 クイックスタート

使い方

controlnet = ControlNetModel.from_pretrained("RiddleHe/SD14_pathology_controlnet", torch_dtype=torch.float16)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "RiddleHe/SD14_pathology_base", controlnet=controlnet, torch_dtype=torch.float16
)
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

prompt = "A histopathology image of breast cancer tissue."
mask = mask.convert("RGB")  # Provide a mask

generator = torch.Generator(device='cuda').manual_seed(42)

with torch.no_grad():
  out = pipe(prompt, image=mask, num_inference_steps=70, num_images_per_prompt=3, generator=generator).images

制限事項とバイアス

[TODO: 潜在的な問題の例と可能な解決策を提供する]

✨ 主な機能

このControlNetモデルは、CompVis/stable-diffusion-v1-4 をベースに新しいコンディショニング方式で学習されており、特定の条件付きで画像生成が可能です。以下にサンプル画像を示します。

• prompt: A histopathology image of breast cancer tissue.
• prompt: An image of breast cancer histopathology with detailed cellular structures.

🔧 技術詳細

このモデルは、BRCA乳がんデータセットの28216の画像-マスクペアを使用して学習されています。入力はマスクで、出力は画像です。マスクは、0から21までの整数値を持つ単一チャンネル画像で、22のクラスを表しています。例えば、1は腫瘍、2は間質を表します。

📄 ライセンス

このモデルのライセンスは creativeml-openrail-m です。