Kolors ControlNet Canny

🚀 Kolors-ControlNet-Canny 权重与推理代码

本项目基于 Kolors 基础模型，提供了两种 ControlNet 权重（Canny 和 Depth）以及相应的推理代码，可实现文本到图像的转换。

📚 介绍

我们基于 Kolors 基础模型，提供了两种 ControlNet 权重和推理代码，分别为 Canny 和 Depth。你可以在下面找到一些示例图像。

1、ControlNet 演示

2、ControlNet 与 IP-Adapter-Plus 演示

我们还支持 Kolors-IPadapter 和 Kolors-ControlNet 之间的联合推理代码。

📊 评估

为了评估模型的性能，我们编制了一个包含 200 多张图像和文本提示的测试集。我们邀请了几位图像专家对不同模型的生成结果进行公正评分。专家们根据四个标准对生成的图像进行评分：视觉吸引力、文本忠实度、条件可控性和总体满意度。条件可控性衡量 ControlNet 保留空间结构的能力，而其他标准遵循基础模型的评估标准。具体结果总结在下表中，其中 Kolors-ControlNet 在各个标准上都取得了更好的性能。

1、Canny

2、Depth

SDXL-ControlNet-Canny 和 SDXL-ControlNet-Depth 使用 DreamShaper-XL 作为骨干模型。

🛠️ 使用方法

依赖要求

依赖项和安装过程与 Kolors 基础模型 基本相同。

权重下载

# Canny - ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Canny --local-dir weights/Kolors-ControlNet-Canny

# Depth - ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Depth --local-dir weights/Kolors-ControlNet-Depth

如果你打算使用深度估计网络，请确保下载其相应的模型权重。

huggingface-cli download lllyasviel/Annotators ./dpt_hybrid-midas-501f0c75.pt --local-dir ./controlnet/annotator/ckpts  

推理

a. 使用 Canny ControlNet

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_1.png 一个漂亮的女孩，高品质，超清晰，色彩鲜艳，超高分辨率，最佳品质，8k，高清，4K Canny

python ./controlnet/sample_controlNet.py ./controlnet/assets/dog.png 全景，一只可爱的白色小狗坐在杯子里，看向镜头，动漫风格，3d渲染，辛烷值渲染 Canny

# 图像将保存到 "controlnet/outputs/"

b. 使用 Depth ControlNet

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_2.png 新海诚风格，丰富的色彩，穿着绿色衬衫的女人站在田野里，唯美风景，清新明亮，斑驳的光影，最好的质量，超细节，8K画质 Depth

python ./controlnet/sample_controlNet.py ./controlnet/assets/bird.png 一只颜色鲜艳的小鸟，高品质，超清晰，色彩鲜艳，超高分辨率，最佳品质，8k，高清，4K Depth

# 图像将保存到 "controlnet/outputs/"

c. 使用 Depth ControlNet + IP-Adapter-Plus

如果你打算使用 kolors-ip-adapter-plus，请确保下载其相应的模型权重。

python ./controlnet/sample_controlNet_ipadapter.py ./controlnet/assets/woman_2.png ./ipadapter/asset/2.png  一个红色头发的女孩，唯美风景，清新明亮，斑驳的光影，最好的质量，超细节，8K画质 Depth

# 图像将保存到 "controlnet/outputs/"

致谢

感谢 ControlNet 提供的代码基础。

📄 许可证

本项目采用 Apache-2.0 许可证。