Controlnet Union Sdxl 1.0 Promax

🚀 ControlNet++: 画像生成と編集に最適な統合型ControlNet！

ControlNet++は、画像生成と編集に特化したAll-in-oneのControlNetです。高度な機能と柔軟性を兼ね備え、様々な画像処理ニーズに対応します。

🚀 クイックスタート

ProMaxモデルがリリースされました！12のコントロール機能と5つの高度な編集機能を搭載しており、是非試してみてください！

✨ 主な機能

ネットワークアーキテクチャ

モデルの利点

• novelaiのようなバケットトレーニングを採用し、任意のアスペクト比の高解像度画像を生成できます。
• 1000万枚以上の高品質データを使用し、様々なシチュエーションを網羅したデータセットでトレーニングされています。
• DALLE.3のような再キャプション付きのプロンプトを使用し、CogVLMを用いて詳細な説明を生成するため、プロンプトの追従性が高いです。
• トレーニング中にデータ拡張、複数の損失関数、マルチ解像度などの有用なテクニックを使用しています。
• 元のControlNetとほぼ同じパラメータを使用しており、ネットワークのパラメータや計算量の増加はほとんどありません。
• 10種類以上のコントロール条件をサポートし、単一条件での性能低下はほとんどありません。
• 複数条件の生成をサポートし、トレーニング中に条件の融合を学習するため、ハイパーパラメータの設定やプロンプトの設計が不要です。
• BluePencilXLやCounterfeitXLなどの他のオープンソースSDXLモデルやLoraモデルと互換性があります。

私たちは、条件付きテキストから画像生成において10種類以上のコントロールタイプをサポートし、Midjourneyに匹敵する高解像度画像を生成できる新しいアーキテクチャを設計しました。このネットワークは元のControlNetアーキテクチャに基づいており、2つの新しいモジュールを提案しています。1つは、同じネットワークパラメータで異なる画像条件をサポートするために元のControlNetを拡張するものです。もう1つは、計算負荷を増やすことなく複数の条件入力をサポートするもので、画像を詳細に編集したいデザイナーにとって特に重要です。異なる条件は同じ条件エンコーダを使用するため、追加の計算やパラメータが必要ありません。私たちはSDXLで徹底的な実験を行い、コントロール能力と美学的なスコアの両面で優れた性能を達成しました。この方法とモデルをオープンソースコミュニティに公開し、誰もが利用できるようにします。

推論スクリプトや詳細な情報はこちらで確認できます: https://github.com/xinsir6/ControlNetPlus/tree/main

もしこのモデルが役に立った場合は、スターを付けていただけると幸いです。ありがとうございます！

~500以上のスターを獲得したら、タイルとインペインティング機能を搭載したProMaxバージョンをリリースします！~
SDXL ProMaxバージョンがリリースされました！是非お試しください！
1000以上のスターを獲得したら、SD3用のControlNet++モデルをリリースします！
3000以上のスターを獲得したら、SD3用のControlNet++ ProMaxモデルをリリースします！

注: ProMaxモデルは、同じhuggingfaceモデルリポジトリにpromaxサフィックス付きで公開されています。詳細な説明は後日追加予定です。

高度な編集機能

タイルデブラー

タイルバリエーション

タイル超解像

以下の例は、1M解像度から9M解像度への変換を示しています。

画像インペインティング

画像アウトペインティング

ビジュアル例

Openpose

Depth

Canny

Lineart

AnimeLineart

Mlsd

Scribble

Hed

Pidi(Softedge)

Teed

Segment

Normal

マルチコントロールのビジュアル例

Openpose + Canny

Openpose + Depth

Openpose + Scribble

Openpose + Normal

Openpose + Segment

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。