Controlnet Xl Pro

🚀 ControlNet++: 画像生成と編集に最適な統合型ControlNet！

ControlNet++は、画像生成と編集に特化した統合型ControlNetです。このモデルは、多様な制御条件をサポートし、高解像度の画像を生成することができます。

🚀 クイックスタート

ProMaxモデルがリリースされました！12種類の制御と5種類の高度な編集機能を搭載していますので、ぜひ試してみてください！

✨ 主な機能

ネットワークアーキテクチャ

モデルの利点

• novelaiのようなバケットトレーニングを使用しているため、任意のアスペクト比の高解像度画像を生成できます。
• 大量の高品質データ（1000万枚以上の画像）を使用しており、データセットは多様なシチュエーションをカバーしています。
• DALLE.3のような再キャプション付きのプロンプトを使用し、CogVLMを使って詳細な説明を生成するため、プロンプトの追従性が良好です。
• トレーニング中に多くの有用なトリックを使用しています。データ拡張、複数の損失関数、マルチ解像度などが含まれます。
• 元のControlNetとほぼ同じパラメータを使用しています。ネットワークのパラメータや計算量は明らかに増加していません。
• 10種類以上の制御条件をサポートしており、個々の条件で独立してトレーニングした場合と比べて、性能の低下は見られません。
• 複数の条件を同時に指定した生成もサポートしており、条件の融合はトレーニング中に学習されます。ハイパーパラメータの設定やプロンプトの設計は不要です。
• 他のオープンソースSDXLモデル（BluePencilXL、CounterfeitXLなど）やLoraモデルと互換性があります。

我々は、条件付き画像生成において10種類以上の制御タイプをサポートし、Midjourneyと視覚的に匹敵する高解像度画像を生成できる新しいアーキテクチャを設計しました。このネットワークは元のControlNetアーキテクチャに基づいており、2つの新しいモジュールを提案しています。1つは、同じネットワークパラメータを使用して元のControlNetを拡張し、異なる画像条件をサポートするものです。もう1つは、計算負荷を増やすことなく複数の条件入力をサポートするもので、詳細な画像編集を行いたいデザイナーにとって特に重要です。異なる条件は同じ条件エンコーダを使用しており、追加の計算やパラメータは必要ありません。我々はSDXLで徹底的な実験を行い、制御能力と審美スコアの両方で優れた性能を達成しました。この方法とモデルをオープンソースコミュニティに公開し、誰もが利用できるようにします。

推論スクリプトや詳細な情報はこちらで確認できます: https://github.com/xinsir6/ControlNetPlus/tree/main

もしこのモデルが役に立った場合は、スターを付けていただけると幸いです。ありがとうございます。

SDXL ProMaxバージョンがリリースされました！是非お試しください！

申し訳ありませんが、プロジェクトの収支が難しく、GPUリソースを収益が見込める他のプロジェクトに割り当てる必要があります。SD3のトレーニングは、十分なGPUサポートが得られるまで停止します。できる限りGPUを確保してトレーニングを再開するよう努めます。ご不便をおかけして申し訳ありません。このプロジェクトを応援してくれる皆さんに感謝いたします。皆さんのサポートこそが私を前進させる原動力です。

注: Promaxモデルは、同じHugging Faceモデルリポジトリにpromaxサフィックス付きで配置されています。詳細な説明は後日追加されます。

高度な編集機能

タイルデブラー

タイルバリエーション

タイル超解像

以下の例は、1M解像度から9M解像度への変換を示しています。

画像インペインティング

画像アウトペインティング

ビジュアル例

Openpose

深度

Canny

ラインアート

アニメラインアート

MLSD

スクリブル

HED

Pidi（ソフトエッジ）

TEED

セグメンテーション

法線

マルチ制御のビジュアル例

Openpose + Canny

Openpose + 深度

Openpose + スクリブル

Openpose + 法線

Openpose + セグメンテーション

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。