Kolors ControlNet Canny

🚀 Kolors-ControlNet-Canny 權重與推理代碼

本項目基於 Kolors 基礎模型，提供了兩種 ControlNet 權重（Canny 和 Depth）以及相應的推理代碼，可實現文本到圖像的轉換。

📚 介紹

我們基於 Kolors 基礎模型，提供了兩種 ControlNet 權重和推理代碼，分別為 Canny 和 Depth。你可以在下面找到一些示例圖像。

1、ControlNet 演示

2、ControlNet 與 IP-Adapter-Plus 演示

我們還支持 Kolors-IPadapter 和 Kolors-ControlNet 之間的聯合推理代碼。

📊 評估

為了評估模型的性能，我們編制了一個包含 200 多張圖像和文本提示的測試集。我們邀請了幾位圖像專家對不同模型的生成結果進行公正評分。專家們根據四個標準對生成的圖像進行評分：視覺吸引力、文本忠實度、條件可控性和總體滿意度。條件可控性衡量 ControlNet 保留空間結構的能力，而其他標準遵循基礎模型的評估標準。具體結果總結在下表中，其中 Kolors-ControlNet 在各個標準上都取得了更好的性能。

1、Canny

2、Depth

SDXL-ControlNet-Canny 和 SDXL-ControlNet-Depth 使用 DreamShaper-XL 作為骨幹模型。

🛠️ 使用方法

依賴要求

依賴項和安裝過程與 Kolors 基礎模型 基本相同。

權重下載

# Canny - ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Canny --local-dir weights/Kolors-ControlNet-Canny

# Depth - ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Depth --local-dir weights/Kolors-ControlNet-Depth

如果你打算使用深度估計網絡，請確保下載其相應的模型權重。

huggingface-cli download lllyasviel/Annotators ./dpt_hybrid-midas-501f0c75.pt --local-dir ./controlnet/annotator/ckpts  

推理

a. 使用 Canny ControlNet

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_1.png 一個漂亮的女孩，高品質，超清晰，色彩鮮豔，超高分辨率，最佳品質，8k，高清，4K Canny

python ./controlnet/sample_controlNet.py ./controlnet/assets/dog.png 全景，一隻可愛的白色小狗坐在杯子裡，看向鏡頭，動漫風格，3d渲染，辛烷值渲染 Canny

# 圖像將保存到 "controlnet/outputs/"

b. 使用 Depth ControlNet

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_2.png 新海誠風格，豐富的色彩，穿著綠色襯衫的女人站在田野裡，唯美風景，清新明亮，斑駁的光影，最好的質量，超細節，8K畫質 Depth

python ./controlnet/sample_controlNet.py ./controlnet/assets/bird.png 一隻顏色鮮豔的小鳥，高品質，超清晰，色彩鮮豔，超高分辨率，最佳品質，8k，高清，4K Depth

# 圖像將保存到 "controlnet/outputs/"

c. 使用 Depth ControlNet + IP-Adapter-Plus

如果你打算使用 kolors-ip-adapter-plus，請確保下載其相應的模型權重。

python ./controlnet/sample_controlNet_ipadapter.py ./controlnet/assets/woman_2.png ./ipadapter/asset/2.png  一個紅色頭髮的女孩，唯美風景，清新明亮，斑駁的光影，最好的質量，超細節，8K畫質 Depth

# 圖像將保存到 "controlnet/outputs/"

致謝

感謝 ControlNet 提供的代碼基礎。

📄 許可證

本項目採用 Apache-2.0 許可證。