T2iadapter Sketch Sd15v2

🚀 T2I Adapter - Sketch

T2I Adapter是一个为Stable Diffusion提供额外条件的网络。每个T2I检查点以不同类型的条件作为输入，并与特定的基础Stable Diffusion检查点一起使用。此检查点为Stable Diffusion 1.5检查点提供草图条件。

🚀 快速开始

依赖安装

pip install diffusers transformers controlnet_aux

运行代码

import torch
from PIL import Image
from controlnet_aux import PidiNetDetector

from diffusers import (
    T2IAdapter,
    StableDiffusionAdapterPipeline
)

image = Image.open('./images/sketch_in.png')

processor = PidiNetDetector.from_pretrained('lllyasviel/Annotators')

sketch_image = processor(image)

sketch_image.save('./images/sketch.png')

adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_zoedepth_sd15v1", torch_dtype=torch.float16)
pipe = StableDiffusionAdapterPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", adapter=adapter, safety_checker=None, torch_dtype=torch.float16, variant="fp16"
)

pipe.to('cuda')

generator = torch.Generator().manual_seed(0)

sketch_image_out = pipe(prompt="royal chamber with fancy bed", image=sketch_image, generator=generator).images[0]

sketch_image_out.save('./images/sketch_image_out.png')

✨ 主要特性

T2I Adapter可提供额外条件，每个检查点能以不同类型条件作为输入，与特定的基础Stable Diffusion检查点配合使用，为图像生成提供更多可控性。

📚 详细文档

模型详情

检查点

模型名称	控制图像概述	控制图像示例	生成图像示例
TencentARC/t2iadapter_color_sd14v1 使用空间调色板训练	带有8x8调色板的图像。
TencentARC/t2iadapter_canny_sd14v1 使用Canny边缘检测训练	黑色背景上带有白色边缘的单色图像。
TencentARC/t2iadapter_sketch_sd14v1 使用PidiNet边缘检测训练	黑色背景上带有白色轮廓的手绘单色图像。
TencentARC/t2iadapter_depth_sd14v1 使用Midas深度估计训练	黑色代表深区域，白色代表浅区域的灰度图像。
TencentARC/t2iadapter_openpose_sd14v1 使用OpenPose骨骼图像训练	OpenPose骨骼图像。
TencentARC/t2iadapter_keypose_sd14v1 使用mmpose骨架图像训练	mmpose骨架图像。
TencentARC/t2iadapter_seg_sd14v1 使用语义分割训练	自定义分割协议图像。
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

📄 许可证

本项目采用Apache 2.0许可证。