Kolors Inpainting

🚀 快速開始

我們提供了 Kolors-Inpainting 的推理代碼和權重，這些權重是基於 Kolors-Basemodel 進行初始化的。以下是 Kolors-Inpainting 的推理結果示例：

✨ 主要特性

模型細節

• 對於圖像修復任務，UNet 增加了 5 個輸入通道（其中 4 個用於編碼後的掩膜圖像，1 個用於掩膜本身）。編碼後的掩膜圖像通道的權重是從非修復檢查點初始化的，而掩膜通道的權重則初始化為零。
• 為了提高圖像修復模型的魯棒性，我們採用了更加多樣化的掩膜生成策略，包括隨機掩膜、主體分割掩膜、矩形掩膜以及基於膨脹操作的掩膜。

評估結果

為了進行評估，我們創建了一個包含 200 張掩膜圖像和文本提示的測試集。我們邀請了幾位圖像專家對不同模型的生成結果進行公正評分。專家們根據四個標準對生成的圖像進行評估：視覺吸引力、文本忠實度、修復偽影和總體滿意度。修復偽影用於衡量修復結果中的感知邊界，而其他標準則遵循基礎模型的評估標準。具體結果總結在下表中，其中 Kolors-Inpainting 在總體滿意度方面取得了最高分數。

平均總體滿意度、平均視覺吸引力和平均文本忠實度的分數越高越好。相反，平均修復偽影的分數越低越好。

SDXL-Inpainting 和 Kolors-Inpainting 的對比結果如下：

Kolors-Inpainting 使用中文提示，而 SDXL-Inpainting 使用英文提示。

📦 安裝指南

依賴安裝

依賴和安裝過程基本與 Kolors-BaseModel 相同。

具體步驟

1. 克隆倉庫並安裝依賴

apt-get install git-lfs
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

2. 下載權重 鏈接

huggingface-cli download --resume-download Kwai-Kolors/Kolors-Inpainting --local-dir weights/Kolors-Inpainting

3. 推理

python3 inpainting/sample_inpainting.py ./inpainting/asset/3.png ./inpainting/asset/3_mask.png 穿著美少女戰士的衣服，一件類似於水手服風格的衣服，包括一個白色緊身上衣，前胸搭配一個大大的紅色蝴蝶結。衣服的領子部分呈藍色，並且有白色條紋。她還穿著一條藍色百褶裙，超高清，辛烷渲染，高級質感，32k，高分辨率，最好的質量，超級細節，景深

python3 inpainting/sample_inpainting.py ./inpainting/asset/4.png ./inpainting/asset/4_mask.png 穿著鋼鐵俠的衣服，高科技盔甲，主要顏色為紅色和金色，並且有一些銀色裝飾。胸前有一個亮起的圓形反應堆裝置，充滿了未來科技感。超清晰，高質量，超逼真，高分辨率，最好的質量，超級細節，景深

# 圖像將保存到 "scripts/outputs/"

📄 許可證

本項目採用 Apache-2.0 許可證。