Controlnet Union Sdxl 1.0

🚀 ControlNet++：用於圖像生成和編輯的一體化ControlNet！

ControlNet++是一款強大的圖像生成和編輯工具，它支持多種控制條件，能生成高分辨率圖像，且與其他開源模型兼容，為圖像創作帶來了更多可能性。

🚀 快速開始

推理腳本和更多詳細信息可查看：https://github.com/xinsir6/ControlNetPlus/tree/main

✨ 主要特性

模型發佈

ProMax模型已發佈！具備12種控制 + 5種高級編輯功能，快來試試！

網絡架構

模型優勢

• 高分辨率圖像生成：採用類似NovelAI的桶訓練方法，可生成任意寬高比的高分辨率圖像。
• 高質量數據訓練：使用大量高質量數據（超過10000000張圖像），數據集涵蓋各種場景。
• 良好的提示遵循能力：採用類似DALLE.3的重新標註提示，使用CogVLM生成詳細描述。
• 多種訓練技巧：訓練過程中使用了許多實用技巧，包括但不限於數據增強、多損失函數、多分辨率訓練。
• 參數與計算量控制：與原始ControlNet相比，使用幾乎相同的參數，網絡參數和計算量無明顯增加。
• 多控制條件支持：支持10 + 種控制條件，與獨立訓練相比，在任何單一條件下性能均無明顯下降。
• 多條件生成：支持多條件生成，訓練過程中學習條件融合，無需設置超參數或設計提示。
• 模型兼容性：與其他開源SDXL模型（如BluePencilXL、CounterfeitXL）兼容，也兼容其他Lora模型。

新架構設計

我們設計了一種新架構，可在文本到圖像生成中支持10 + 種控制類型，並能生成在視覺上可與Midjourney媲美的高分辨率圖像。該網絡基於原始ControlNet架構，提出了兩個新模塊：一是擴展原始ControlNet，使用相同的網絡參數支持不同的圖像條件；二是支持多條件輸入，而不增加計算負擔，這對於想要詳細編輯圖像的設計師尤為重要。不同條件使用相同的條件編碼器，無需添加額外的計算或參數。我們在SDXL上進行了全面的實驗，在控制能力和美學評分方面均取得了優異的性能。我們將該方法和模型開源，讓每個人都能受益。

🔧 技術細節

高級編輯功能

平鋪去模糊（Tile Deblur）

平鋪變體（Tile Variation）

平鋪超分辨率（Tile Super Resolution）

以下示例展示了從1M分辨率提升到9M分辨率的效果：

圖像修復（Image Inpainting）

圖像擴展（Image Outpainting）

視覺示例

Openpose

Depth

Canny

Lineart

AnimeLineart

Mlsd

Scribble

Hed

Pidi(Softedge)

Teed

Segment

Normal

多控制視覺示例

Openpose + Canny

Openpose + Depth

Openpose + Scribble

Openpose + Normal

Openpose + Segment

📄 許可證

本項目採用Apache - 2.0許可證。

⚠️ 重要提示

由於項目收支難以平衡，GPU資源已分配給其他更有可能盈利的項目，SD3訓練已暫停，直至找到足夠的GPU支持。對此帶來的不便，我們深表歉意。

💡 使用建議

如果您覺得本項目有用，請給我們一個Star，感謝支持！SDXL ProMax版本已發佈，快來體驗！我們將Promax模型（後綴為promax）放在了同一個Hugging Face模型倉庫中，詳細說明後續會添加。