Controlnet Union Sdxl 1.0

🚀 ControlNet++: 画像生成と編集に最適な統合型ControlNet！

ControlNet++は、画像生成と編集に特化した統合型ControlNetです。ProMaxモデルがリリースされ、12種類のコントロールと5種類の高度な編集機能を備えています。是非試してみてください！

✨ 主な機能

ネットワークアーキテクチャ

モデルの利点

• novelaiのようなバケットトレーニングを採用し、任意のアスペクト比の高解像度画像を生成できます。
• 1000万枚以上の高品質データを使用し、多様なシチュエーションを網羅したデータセットです。
• DALLE.3のような再キャプション付きのプロンプトを使用し、CogVLMで詳細な説明を生成し、プロンプトの追従性が良好です。
• トレーニング中にデータ拡張、複数の損失関数、マルチ解像度などの多くの有用なトリックを使用しています。
• 元のControlNetとほぼ同じパラメータを使用しており、ネットワークのパラメータや計算量は大幅に増加していません。
• 10種類以上のコントロール条件をサポートし、単一条件でのトレーニングと比較しても性能の低下は見られません。
• マルチコンディション生成をサポートし、コンディションの融合はトレーニング中に学習されます。ハイパーパラメータの設定やプロンプトの設計は不要です。
• BluePencilXLやCounterfeitXLなどの他のオープンソースSDXLモデルやLoraモデルと互換性があります。

当モデルは、新しいアーキテクチャを設計することで、条件付きテキスト→画像生成において10種類以上のコントロールタイプをサポートし、midjourneyと視覚的に匹敵する高解像度画像を生成できます。このネットワークは元のControlNetアーキテクチャに基づいており、2つの新しいモジュールを提案しています。1つは、同じネットワークパラメータを使用して元のControlNetを拡張し、異なる画像条件をサポートすること。もう1つは、計算負荷を増やすことなく複数の条件入力をサポートすることで、特に画像を詳細に編集したいデザイナーにとって重要です。異なる条件は同じ条件エンコーダを使用し、追加の計算やパラメータを必要としません。SDXLで徹底的な実験を行い、コントロール能力と美学的なスコアの両方で優れた性能を達成しました。この方法とモデルをオープンソースコミュニティに公開し、皆さんが楽しんでいただけるようにします。

推論スクリプトや詳細な情報はこちらで確認できます: https://github.com/xinsir6/ControlNetPlus/tree/main

もしこのモデルが役に立ったと感じたら、スターを付けていただけると幸いです。ありがとうございます！

SDXL ProMaxバージョンがリリースされました！是非お試しください！

申し訳ありませんが、プロジェクトの収支が難しく、GPUリソースを収益性の高い他のプロジェクトに割り当てる必要があります。十分なGPUサポートを見つけるまで、SD3のトレーニングを停止します。できる限りGPUを探してトレーニングを再開するよう努めます。ご不便をおかけして申し訳ありません。このプロジェクトを愛でてくれた皆さんに感謝します。皆さんのサポートが私を前進させています。

注: promaxモデルは、同じhuggingfaceモデルリポジトリにpromaxサフィックス付きで配置されています。詳細な説明は後日追加されます。

ProMaxモデルの高度な編集機能

タイルデブラー

タイルバリエーション

タイル超解像

以下の例は、1M解像度から9M解像度への変換を示しています。

画像インペインティング

画像アウトペインティング

視覚的な例

Openpose

Depth

Canny

Lineart

AnimeLineart

Mlsd

Scribble

Hed

Pidi(Softedge)

Teed

Segment

Normal

マルチコントロールの視覚的な例

Openpose + Canny

Openpose + Depth

Openpose + Scribble

Openpose + Normal

Openpose + Segment

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。