Kolors ControlNet Depth

🚀 Kolors-ControlNet-Depth 權重與推理代碼

本項目基於 Kolors 基礎模型，提供了兩種 ControlNet 權重（Canny 和 Depth）以及相應的推理代碼。通過這些資源，用戶可以在文本到圖像的生成任務中實現更精細的控制和更高質量的輸出。

📚 介紹

我們基於 Kolors 基礎模型，提供了兩種 ControlNet 權重以及推理代碼：Canny 和 Depth。你可以在下面找到一些示例圖片。

1、ControlNet 演示

2、ControlNet 與 IP-Adapter-Plus 演示

我們還支持 Kolors-IPadapter 和 Kolors-ControlNet 之間的聯合推理代碼。

📊 評估

為了評估模型的性能，我們整理了一個包含 200 多張圖像和文本提示的測試集。我們邀請了幾位圖像專家對不同模型的生成結果進行公正評分。專家們根據四個標準對生成的圖像進行評分：視覺吸引力、文本忠實度、條件可控性和總體滿意度。條件可控性衡量 ControlNet 保留空間結構的能力，而其他標準遵循基礎模型的評估標準。具體結果總結在下表中，其中 Kolors-ControlNet 在各個標準上都取得了更好的性能。

1、Canny

2、Depth

SDXL-ControlNet-Canny 和 SDXL-ControlNet-Depth 使用 DreamShaper-XL 作為骨幹模型。

🛠️ 使用方法

依賴要求

依賴項和安裝過程與 Kolors 基礎模型 基本相同。

權重下載

# Canny - ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Canny --local-dir weights/Kolors-ControlNet-Canny

# Depth - ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Depth --local-dir weights/Kolors-ControlNet-Depth

如果你打算使用深度估計網絡，請確保下載其相應的模型權重。

huggingface-cli download lllyasviel/Annotators ./dpt_hybrid-midas-501f0c75.pt --local-dir ./controlnet/annotator/ckpts  

推理

a. 使用 Canny ControlNet

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_1.png 一個漂亮的女孩，高品質，超清晰，色彩鮮豔，超高分辨率，最佳品質，8k，高清，4K Canny

python ./controlnet/sample_controlNet.py ./controlnet/assets/dog.png 全景，一隻可愛的白色小狗坐在杯子裡，看向鏡頭，動漫風格，3d渲染，辛烷值渲染 Canny

# 圖像將保存到 "controlnet/outputs/"

b. 使用 Depth ControlNet

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_2.png 新海誠風格，豐富的色彩，穿著綠色襯衫的女人站在田野裡，唯美風景，清新明亮，斑駁的光影，最好的質量，超細節，8K畫質 Depth

python ./controlnet/sample_controlNet.py ./controlnet/assets/bird.png 一隻顏色鮮豔的小鳥，高品質，超清晰，色彩鮮豔，超高分辨率，最佳品質，8k，高清，4K Depth

# 圖像將保存到 "controlnet/outputs/"

c. 使用 Depth ControlNet + IP-Adapter-Plus 如果你打算使用 kolors-ip-adapter-plus，請確保下載其相應的模型權重。

python ./controlnet/sample_controlNet_ipadapter.py ./controlnet/assets/woman_2.png ./ipadapter/asset/2.png  一個紅色頭髮的女孩，唯美風景，清新明亮，斑駁的光影，最好的質量，超細節，8K畫質 Depth

# 圖像將保存到 "controlnet/outputs/"

致謝

• 感謝 ControlNet 提供的代碼庫。

📄 許可證

本項目採用 Apache-2.0 許可證。