Geosynth Canny

🚀 diffusers

このモデルは、Cannyエッジ画像を入力として衛星画像を合成するControlNetベースのモデルです。ベースとなるStable Diffusionモデルはstable-diffusion-2-1-base (v2-1_512-ema-pruned.ckpt) を使用しています。

🚀 クイックスタート

このモデルは、Cannyエッジ画像を元に衛星画像を合成することができます。以下の方法で利用することができます。

• 🧨 diffusers を使用する
• controlnet リポジトリを使用する

モデルのソース [オプション]

• リポジトリ: stable-diffusion
• 論文: Adding Conditional Control to Text-to-Image Diffusion Models

💻 使用例

基本的な使用法

from diffusers import StableDiffusionControlNetPipeline, ControlNetModel, UniPCMultistepScheduler
import torch
from PIL import Image

img = Image.open("canny_example.jpeg")

controlnet = ControlNetModel.from_pretrained("MVRL/GeoSynth-Canny")

scheduler = UniPCMultistepScheduler.from_pretrained("stabilityai/stable-diffusion-2-1-base", subfolder="scheduler")

pipe = StableDiffusionControlNetPipeline.from_pretrained("stabilityai/stable-diffusion-2-1-base", controlnet=controlnet, scheduler=scheduler)
pipe.enable_xformers_memory_efficient_attention()
pipe.enable_model_cpu_offload()

# generate image
generator = torch.manual_seed(10345340)
image = pipe(
    "Satellite image features a city neighborhood",
    generator=generator,
    image=img,
).images[0]

image.save("generated_city.jpg")

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。