Controlnet Union Sdxl 1.0

🚀 ControlNet++：用于图像生成和编辑的一体化ControlNet！

ControlNet++是一款强大的图像生成和编辑工具，它支持多种控制条件，能生成高分辨率图像，且与其他开源模型兼容，为图像创作带来了更多可能性。

🚀 快速开始

推理脚本和更多详细信息可查看：https://github.com/xinsir6/ControlNetPlus/tree/main

✨ 主要特性

模型发布

ProMax模型已发布！具备12种控制 + 5种高级编辑功能，快来试试！

网络架构

模型优势

• 高分辨率图像生成：采用类似NovelAI的桶训练方法，可生成任意宽高比的高分辨率图像。
• 高质量数据训练：使用大量高质量数据（超过10000000张图像），数据集涵盖各种场景。
• 良好的提示遵循能力：采用类似DALLE.3的重新标注提示，使用CogVLM生成详细描述。
• 多种训练技巧：训练过程中使用了许多实用技巧，包括但不限于数据增强、多损失函数、多分辨率训练。
• 参数与计算量控制：与原始ControlNet相比，使用几乎相同的参数，网络参数和计算量无明显增加。
• 多控制条件支持：支持10 + 种控制条件，与独立训练相比，在任何单一条件下性能均无明显下降。
• 多条件生成：支持多条件生成，训练过程中学习条件融合，无需设置超参数或设计提示。
• 模型兼容性：与其他开源SDXL模型（如BluePencilXL、CounterfeitXL）兼容，也兼容其他Lora模型。

新架构设计

我们设计了一种新架构，可在文本到图像生成中支持10 + 种控制类型，并能生成在视觉上可与Midjourney媲美的高分辨率图像。该网络基于原始ControlNet架构，提出了两个新模块：一是扩展原始ControlNet，使用相同的网络参数支持不同的图像条件；二是支持多条件输入，而不增加计算负担，这对于想要详细编辑图像的设计师尤为重要。不同条件使用相同的条件编码器，无需添加额外的计算或参数。我们在SDXL上进行了全面的实验，在控制能力和美学评分方面均取得了优异的性能。我们将该方法和模型开源，让每个人都能受益。

🔧 技术细节

高级编辑功能

平铺去模糊（Tile Deblur）

平铺变体（Tile Variation）

平铺超分辨率（Tile Super Resolution）

以下示例展示了从1M分辨率提升到9M分辨率的效果：

图像修复（Image Inpainting）

图像扩展（Image Outpainting）

视觉示例

Openpose

Depth

Canny

Lineart

AnimeLineart

Mlsd

Scribble

Hed

Pidi(Softedge)

Teed

Segment

Normal

多控制视觉示例

Openpose + Canny

Openpose + Depth

Openpose + Scribble

Openpose + Normal

Openpose + Segment

📄 许可证

本项目采用Apache - 2.0许可证。

⚠️ 重要提示

由于项目收支难以平衡，GPU资源已分配给其他更有可能盈利的项目，SD3训练已暂停，直至找到足够的GPU支持。对此带来的不便，我们深表歉意。

💡 使用建议

如果您觉得本项目有用，请给我们一个Star，感谢支持！SDXL ProMax版本已发布，快来体验！我们将Promax模型（后缀为promax）放在了同一个Hugging Face模型仓库中，详细说明后续会添加。