Kolors - ControlNet - Depthオープンソースモデル - 無料でCannyエッジ検出と深度マップ制御を実現

ホーム

Kolors ControlNet Depth

Kwai-Kolorsによって開発

Kolors-Basemodelが提供する2種類のControlNet重みと推論コード：Cannyエッジ検出と深度マップ制御

画像生成英語オープンソースライセンス:Apache-2.0 #テキストから画像生成の制御ネット #深度マップ制御 #Cannyエッジ制御

ダウンロード数 297

リリース時間 : 7/24/2024

モデル概要

Kolors-ControlNetはCannyエッジ検出と深度マップ制御の2種類のControlNet重みと推論コードを提供し、IP-Adapter-Plusとの連合推論をサポートし、高品質でテキスト記述に合致する画像を生成できます。

モデル特徴

デュアルモード制御

Cannyエッジ検出と深度マップ制御の2つのモードをサポートし、より柔軟な画像生成制御能力を提供します。

連合推論

Kolors-IPadapterとの連合推論をサポートし、より豊富な画像生成効果を実現します。

高性能

視覚的魅力、テキスト適合度、条件制御力、全体満足度などの次元でSDXL-ControlNetを上回ります。

モデル能力

テキストから画像生成

画像スタイル変換

画像構造制御

使用事例

クリエイティブデザイン

アニメスタイル画像生成

テキスト記述に基づいて新海誠スタイルの風景画などのアニメスタイル画像を生成します。

高品質で色彩豊かなアニメスタイル画像を生成します。

高解像度ポートレート生成

高解像度で高精細なポートレート画像を生成します。

8K画質のポートレート画像を生成し、ディテールが豊富で色彩が鮮やかです。

広告とマーケティング

製品宣伝画像生成

製品説明に基づいて魅力的な宣伝画像を生成します。

高品質で製品説明に合致する宣伝画像を生成します。

🚀 Kolors-ControlNet-Depthの重みと推論コード

Kolorsベースモデルに基づく2種類のControlNetの重みと推論コード（CannyとDepth）を提供します。

🚀 クイックスタート

このプロジェクトでは、Kolorsベースモデルに基づく2種類のControlNetの重み（CannyとDepth）と推論コードを提供しています。以下にいくつかのサンプル画像を紹介します。

✨ 主な機能

Kolorsベースモデルに基づくCannyとDepthの2種類のControlNet重みを提供。
Kolors-IPadapterとKolors-ControlNetの連合推論コードをサポート。

📦 インストール

必要条件

依存関係とインストール方法は、Kolors-BaseModelと基本的に同じです。

重みのダウンロード

# Canny - ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Canny --local-dir weights/Kolors-ControlNet-Canny

# Depth - ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Depth --local-dir weights/Kolors-ControlNet-Depth

深度推定ネットワークを利用する場合は、対応するモデルの重みをダウンロードしてください。

huggingface-cli download lllyasviel/Annotators ./dpt_hybrid-midas-501f0c75.pt --local-dir ./controlnet/annotator/ckpts

💻 使用例

基本的な使用法

a. Canny ControlNetの使用

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_1.png 一个漂亮的女孩，高品质，超清晰，色彩鲜艳，超高分辨率，最佳品质，8k，高清，4K Canny

python ./controlnet/sample_controlNet.py ./controlnet/assets/dog.png 全景，一只可爱的白色小狗坐在杯子里，看向镜头，动漫风格，3d渲染，辛烷值渲染 Canny

# 画像は "controlnet/outputs/" に保存されます

b. Depth ControlNetの使用

python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_2.png 新海诚风格，丰富的色彩，穿着绿色衬衫的女人站在田野里，唯美风景，清新明亮，斑驳的光影，最好的质量，超细节，8K画质 Depth

python ./controlnet/sample_controlNet.py ./controlnet/assets/bird.png 一只颜色鲜艳的小鸟，高品质，超清晰，色彩鲜艳，超高分辨率，最佳品质，8k，高清，4K Depth

# 画像は "controlnet/outputs/" に保存されます

c. Depth ControlNet + IP-Adapter-Plusの使用

kolors-ip-adapter-plusを利用する場合は、対応するモデルの重みをダウンロードしてください。

python ./controlnet/sample_controlNet_ipadapter.py ./controlnet/assets/woman_2.png ./ipadapter/asset/2.png  一个红色头发的女孩，唯美风景，清新明亮，斑驳的光影，最好的质量，超细节，8K画质 Depth

# 画像は "controlnet/outputs/" に保存されます

📚 ドキュメント

📊 評価

モデルの性能を評価するために、200以上の画像とテキストプロンプトのテストセットを作成しました。いくつかの画像専門家に、異なるモデルの生成結果に対して公正な評価を行ってもらいました。専門家は、生成された画像を視覚的魅力、テキスト忠実度、条件制御性、全体的な満足度の4つの基準で評価します。条件制御性はControlNetが空間構造を保持する能力を測定し、他の基準はベースモデルの評価基準に従います。具体的な結果は以下の表にまとめられており、Kolors-ControlNetは様々な基準で良好な性能を達成しています。