Controlnet Xl Pro

🚀 ControlNet++：用於圖像生成和編輯的一體化ControlNet！

ControlNet++是一款強大的圖像生成與編輯模型，支持多種控制條件，能生成高分辨率圖像，視覺效果可與Midjourney相媲美。此外，其ProMax模型已發佈，具備12種控制和5種高級編輯功能。

🚀 快速開始

推理腳本和更多詳細信息可查看：https://github.com/xinsir6/ControlNetPlus/tree/main

✨ 主要特性

模型優勢

• 高分辨率圖像生成：採用類似NovelAI的桶訓練方法，可生成任意寬高比的高分辨率圖像。
• 高質量數據集：使用大量高質量數據（超過10000000張圖像），數據集涵蓋各種場景。
• 出色的提示跟隨能力：採用類似DALLE.3的重新標註提示，使用CogVLM生成詳細描述。
• 訓練技巧豐富：訓練過程中使用了許多實用技巧，包括但不限於數據增強、多損失函數、多分辨率訓練。
• 參數與計算量控制：與原始ControlNet相比，使用幾乎相同的參數，網絡參數和計算量無明顯增加。
• 多控制條件支持：支持10多種控制條件，與單獨訓練相比，在任何單一條件下性能均無明顯下降。
• 多條件生成：支持多條件生成，條件融合在訓練過程中學習，無需設置超參數或設計提示。
• 兼容性良好：與其他開源SDXL模型（如BluePencilXL、CounterfeitXL）兼容，也兼容其他Lora模型。

全新架構設計

我們設計了一種新的架構，可在條件文本到圖像生成中支持10多種控制類型，並能生成視覺效果與Midjourney相媲美的高分辨率圖像。該網絡基於原始ControlNet架構，提出了兩個新模塊：

1. 擴展支持：擴展原始ControlNet，使用相同的網絡參數支持不同的圖像條件。
2. 多條件輸入：支持多條件輸入，且不增加計算負擔，這對於想要詳細編輯圖像的設計師尤為重要。不同條件使用相同的條件編碼器，無需添加額外的計算或參數。

我們在SDXL上進行了全面的實驗，在控制能力和美學評分方面均取得了優異的性能。我們將該方法和模型開源，讓每個人都能受益。

📚 詳細文檔

網絡架構

模型展示

ProMax模型高級編輯功能

平鋪去模糊

平鋪變體

平鋪超分辨率

以下示例展示了從1M分辨率提升到9M分辨率的效果：

圖像修復

圖像擴展

視覺示例

Openpose

深度

Canny

線稿

動漫線稿

MLSD

塗鴉

HED

Pidi（軟邊緣）

Teed

分割

法線

多控制視覺示例

Openpose + Canny

Openpose + 深度

Openpose + 塗鴉

Openpose + 法線

Openpose + 分割

📄 許可證

本項目採用Apache-2.0許可證。

⚠️ 重要提示

由於項目收支難以平衡，GPU資源已分配給更有可能盈利的其他項目，SD3訓練已暫停，直到找到足夠的GPU支持。我會盡力尋找GPU繼續訓練。對此帶來的不便，我深表歉意。感謝每一位喜歡本項目的人，你們的支持是我前進的動力。

💡 使用建議

我們將帶有promax後綴的ProMax模型放在了同一個Hugging Face模型倉庫中，詳細說明將在後續添加。

如果您覺得這個項目有用，請給我一個Star，非常感謝！SDXL ProMax版本已發佈，快來體驗吧！