Sd Controlnet Scribble

🚀 Controlnet - 草图版本

ControlNet 是一种神经网络结构，可通过添加额外条件来控制扩散模型。此检查点对应于以草图图像为条件的 ControlNet，可与 Stable Diffusion 结合使用。

✨ 主要特性

• 能够通过添加额外条件控制扩散模型，支持如边缘图、分割图、关键点等条件输入。
• 学习任务特定条件的方式端到端，即使训练数据集较小（< 50k），学习过程也很稳健。
• 训练速度与微调扩散模型相当，可在个人设备上进行训练，也能在强大计算集群上处理大量数据。

📚 详细文档

模型详情

@misc{zhang2023adding,
    title={Adding Conditional Control to Text-to-Image Diffusion Models}, 
    author={Lvmin Zhang and Maneesh Agrawala},
    year={2023},
    eprint={2302.05543},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
  }

简介

Controlnet 由 Lvmin Zhang 和 Maneesh Agrawala 在 Adding Conditional Control to Text-to-Image Diffusion Models 中提出。论文摘要如下：

我们提出了一种神经网络结构 ControlNet，用于控制预训练的大型扩散模型以支持额外的输入条件。ControlNet 以端到端的方式学习特定任务的条件，即使训练数据集较小（< 50k），学习过程也很稳健。此外，训练 ControlNet 的速度与微调扩散模型相当，并且该模型可以在个人设备上进行训练。或者，如果有强大的计算集群，该模型可以扩展到处理大量（数百万到数十亿）的数据。我们报告称，像 Stable Diffusion 这样的大型扩散模型可以通过 ControlNets 进行增强，以支持边缘图、分割图、关键点等条件输入。这可能会丰富控制大型扩散模型的方法，并进一步促进相关应用的发展。

发布的检查点

作者发布了 8 个不同的检查点，每个检查点都基于 Stable Diffusion v1 - 5 在不同类型的条件下进行训练：

模型名称	控制图像概述	控制图像示例	生成图像示例
[lllyasviel/sd - controlnet - canny](https://huggingface.co/lllyasviel/sd - controlnet - canny) 使用 Canny 边缘检测进行训练	黑色背景上带有白色边缘的单色图像。
[lllyasviel/sd - controlnet - depth](https://huggingface.co/lllyasviel/sd - controlnet - depth) 使用 Midas 深度估计进行训练	黑色代表深区域，白色代表浅区域的灰度图像。
[lllyasviel/sd - controlnet - hed](https://huggingface.co/lllyasviel/sd - controlnet - hed) 使用 HED 边缘检测（软边缘）进行训练	黑色背景上带有白色软边缘的单色图像。
[lllyasviel/sd - controlnet - mlsd](https://huggingface.co/lllyasviel/sd - controlnet - mlsd) 使用 M - LSD 线检测进行训练	黑色背景上仅由白色直线组成的单色图像。
[lllyasviel/sd - controlnet - normal](https://huggingface.co/lllyasviel/sd - controlnet - normal) 使用法线贴图进行训练	一张 法线贴图 图像。
[lllyasviel/sd - controlnet_openpose](https://huggingface.co/lllyasviel/sd - controlnet - openpose) 使用 OpenPose 骨骼图像进行训练	一张 [OpenPose 骨骼](https://github.com/CMU - Perceptual - Computing - Lab/openpose) 图像。
[lllyasviel/sd - controlnet_scribble](https://huggingface.co/lllyasviel/sd - controlnet - scribble) 使用人类草图进行训练	黑色背景上带有白色轮廓的手绘单色图像。
[lllyasviel/sd - controlnet_seg](https://huggingface.co/lllyasviel/sd - controlnet - seg) 使用语义分割进行训练	一张 ADE20K 的分割协议图像。

💻 使用示例

基础用法

建议将此检查点与 Stable Diffusion v1 - 5 一起使用，因为该检查点是基于此进行训练的。实验表明，该检查点也可以与其他扩散模型（如经过 Dreambooth 训练的 Stable Diffusion）一起使用。

注意：如果要处理图像以创建辅助条件，则需要安装以下外部依赖项：

1. 安装 https://github.com/patrickvonplaten/controlnet_aux

$ pip install controlnet_aux

2. 安装 diffusers 及相关包：

$ pip install diffusers transformers accelerate

3. 运行代码：

from PIL import Image
from diffusers import StableDiffusionControlNetPipeline, ControlNetModel, UniPCMultistepScheduler
import torch
from controlnet_aux import HEDdetector
from diffusers.utils import load_image

hed = HEDdetector.from_pretrained('lllyasviel/ControlNet')

image = load_image("https://huggingface.co/lllyasviel/sd-controlnet-scribble/resolve/main/images/bag.png")

image = hed(image, scribble=True)

controlnet = ControlNetModel.from_pretrained(
    "lllyasviel/sd-controlnet-scribble", torch_dtype=torch.float16
)

pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", controlnet=controlnet, safety_checker=None, torch_dtype=torch.float16
)

pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config)

# 如果你没有安装 xformers，可以删除此代码
# 安装说明请参考 https://huggingface.co/docs/diffusers/v0.13.0/en/optimization/xformers#installing-xformers
pipe.enable_xformers_memory_efficient_attention()

pipe.enable_model_cpu_offload()

image = pipe("bag", image, num_inference_steps=20).images[0]

image.save('images/bag_scribble_out.png')

训练

草图模型在 500k 个草图图像 - 标题对数据集上进行训练。草图图像通过 HED 边界检测和一系列数据增强（阈值处理、掩码处理、形态学变换和非极大值抑制）生成。该模型使用 Nvidia A100 80G GPU 训练了 150 个 GPU 小时，以 Canny 模型为基础模型。

博客文章

更多信息请参考 ControlNet 官方博客文章。

📄 许可证

本项目采用 The CreativeML OpenRAIL M license 许可协议。