Controlnet Union Sdxl 1.0 Promax

🚀 ControlNet++：用於圖像生成和編輯的一體化ControlNet！

ControlNet++是一款強大的圖像生成和編輯工具，支持10多種控制條件，能夠生成高分辨率圖像，視覺效果可與Midjourney相媲美。其ProMax模型更是具備12種控制和5種高級編輯功能，為用戶帶來更豐富的創作體驗。

🚀 快速開始

推理腳本和更多詳細信息可查看：https://github.com/xinsir6/ControlNetPlus/tree/main

✨ 主要特性

ProMax模型發佈

具備12種控制和5種高級編輯功能，快來嘗試！

支持多控制條件

• 支持10多種控制條件，在任何單一條件下與獨立訓練相比，性能均無明顯下降。
• 支持多條件生成，訓練過程中學習條件融合，無需設置超參數或設計提示詞。

高分辨率圖像生成

• 採用類似NovelAI的桶訓練方法，可生成任意寬高比的高分辨率圖像。
• 使用大量高質量數據（超過1000萬張圖像），數據集涵蓋各種場景。

良好的提示跟隨能力

採用類似DALLE.3的重新標註提示詞方法，使用CogVLM生成詳細描述。

訓練技巧豐富

訓練過程中使用多種實用技巧，包括但不限於數據增強、多損失函數、多分辨率等。

參數和計算量控制

與原始ControlNet相比，使用幾乎相同的參數，網絡參數和計算量無明顯增加。

兼容性強

兼容其他開源SDXL模型，如BluePencilXL、CounterfeitXL，也兼容其他Lora模型。

🔧 技術細節

網絡架構

我們設計了一種新的架構，該架構基於原始ControlNet架構，提出了兩個新模塊：

1. 擴展原始ControlNet，使其能夠使用相同的網絡參數支持不同的圖像條件。
2. 支持多條件輸入，而無需增加計算負載，這對於想要詳細編輯圖像的設計師來說尤為重要。不同條件使用相同的條件編碼器，無需添加額外的計算或參數。我們在SDXL上進行了全面的實驗，在控制能力和美學評分方面均取得了優異的性能。

📚 詳細文檔

模型優勢

• 高分辨率圖像生成：採用類似NovelAI的桶訓練方法，可生成任意寬高比的高分辨率圖像。
• 高質量數據集：使用大量高質量數據（超過1000萬張圖像），數據集涵蓋各種場景。
• 良好的提示跟隨能力：採用類似DALLE.3的重新標註提示詞方法，使用CogVLM生成詳細描述。
• 訓練技巧豐富：訓練過程中使用多種實用技巧，包括但不限於數據增強、多損失函數、多分辨率等。
• 參數和計算量控制：與原始ControlNet相比，使用幾乎相同的參數，網絡參數和計算量無明顯增加。
• 多控制條件支持：支持10多種控制條件，在任何單一條件下與獨立訓練相比，性能均無明顯下降。
• 多條件生成：支持多條件生成，訓練過程中學習條件融合，無需設置超參數或設計提示詞。
• 兼容性強：兼容其他開源SDXL模型，如BluePencilXL、CounterfeitXL，也兼容其他Lora模型。

高級編輯功能

平鋪去模糊（Tile Deblur）

平鋪變體（Tile Variation）

平鋪超分辨率（Tile Super Resolution）

以下示例展示了從100萬分辨率提升到900萬分辨率：

圖像修復（Image Inpainting）

圖像擴展（Image Outpainting）

視覺示例

Openpose

Depth

Canny

Lineart

AnimeLineart

Mlsd

Scribble

Hed

Pidi(Softedge)

Teed

Segment

Normal

多控制視覺示例

Openpose + Canny

Openpose + Depth

Openpose + Scribble

Openpose + Normal

Openpose + Segment

📄 許可證

本項目採用Apache-2.0許可證。

其他說明

如果您覺得這個項目有用，請給我一個Star，非常感謝！

• ~500+ star：發佈帶有平鋪和修復功能的ProMax版本！
• SDXL ProMax版本已發佈，快來體驗！
• 1000+ star：發佈適用於SD3的ControlNet++模型！
• 3000+ star：發佈適用於SD3的ControlNet++ ProMax模型！

注意：我們將帶有ProMax後綴的模型放在同一個Hugging Face模型倉庫中，後續將添加詳細說明。