Kolors Inpainting

🚀 Kolors-Inpainting

このプロジェクトは、Kolors-Basemodel で初期化された Kolors-Inpainting の推論コードと重みを提供しています。画像の補完に特化した機能を持ち、多様なマスク生成戦略を用いて補完のロバスト性を向上させています。

🚀 クイックスタート

このセクションでは、Kolors-Inpainting の概要と使い方を紹介します。

概要

当プロジェクトでは、Kolors-Basemodel を初期化した Kolors-Inpainting の推論コードと重みを提供しています。以下に、Kolors-Inpainting の結果例を示します。

モデルの詳細

• 補完のために、UNet は追加の 5 つの入力チャネルを持っています（マスクされた画像をエンコードした 4 つのチャネルと、マスク自体の 1 つのチャネル）。マスクされた画像のエンコードチャネルの重みは、非補完チェックポイントから初期化され、マスクチャネルの重みはゼロで初期化されます。
• 補完モデルのロバスト性を向上させるために、ランダムマスク、サブジェクトセグメンテーションマスク、矩形マスク、膨張操作に基づくマスクなど、より多様なマスク生成戦略を採用しています。

📊 評価

評価のために、200 枚のマスクされた画像とテキストプロンプトからなるテストセットを作成しました。いくつかの画像専門家に、異なるモデルの生成結果に対する公平な評価を依頼しました。専門家は、生成された画像を視覚的魅力、テキスト忠実度、補完アーティファクト、全体的な満足度の 4 つの基準で評価しました。補完アーティファクトは、補完結果の知覚的境界を測定し、他の基準は BaseModel の評価基準に準拠しています。具体的な結果は以下の表にまとめられており、Kolors-Inpainting が最も高い全体的満足度スコアを達成しています。

平均全体満足度、平均視覚的魅力、平均テキスト忠実度のスコアは高いほど良く、平均補完アーティファクトのスコアは低いほど良いです。

SDXL-Inpainting と Kolors-Inpainting の比較結果は以下の通りです。

Kolors-Inpainting は中国語のプロンプトを使用し、SDXL-Inpainting は英語のプロンプトを使用しています。

📦 インストール

必要条件

依存関係とインストール方法は、Kolors-BaseModel と基本的に同じです。

手順

1. リポジトリのクローンと依存関係のインストール

apt-get install git-lfs
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

2. 重みのダウンロード リンク

huggingface-cli download --resume-download Kwai-Kolors/Kolors-Inpainting --local-dir weights/Kolors-Inpainting

3. 推論

python3 inpainting/sample_inpainting.py ./inpainting/asset/3.png ./inpainting/asset/3_mask.png 穿着美少女战士的衣服，一件类似于水手服风格的衣服，包括一个白色紧身上衣，前胸搭配一个大大的红色蝴蝶结。衣服的领子部分呈蓝色，并且有白色条纹。她还穿着一条蓝色百褶裙，超高清，辛烷渲染，高级质感，32k，高分辨率，最好的质量，超级细节，景深

python3 inpainting/sample_inpainting.py ./inpainting/asset/4.png ./inpainting/asset/4_mask.png 穿着钢铁侠的衣服，高科技盔甲，主要颜色为红色和金色，并且有一些银色装饰。胸前有一个亮起的圆形反应堆装置，充满了未来科技感。超清晰，高质量，超逼真，高分辨率，最好的质量，超级细节，景深

# 画像は "scripts/outputs/" に保存されます

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で提供されています。