Controlnet Inpaint Dreamer Sdxl

🚀 Controlnet - Inpainting dreamer

このControlNetは、インペインティングとアウトペインティングに対応しています。

これは、ControlNetについてより深く学ぶために実験的に作成された初期アルファバージョンです。

このような作業やこのモデルの開発をサポートしたいですか？是非コーヒーを奢ってください！

このモデルは、Stable Diffusion XLと連携するように設計されています。これをベースとした任意のモデルで動作するはずです。

インペインティングまたはアウトペインティングする画像は、ノイズ除去を1.0に設定したtxt2imgパイプラインでControlNetの入力として使用します。イン/アウトペインティングする部分は、純粋な白色で塗りつぶします。

プロンプトに応じて、画像の残りの部分はそのままにされるか、多かれ少なかれ変更される場合があります。

✨ 主な機能

このControlNetは、インペインティングとアウトペインティングに特化しており、Stable Diffusion XLベースのモデルと連携可能です。

📦 インストール

このセクションでは、具体的なインストール手順が提供されていないため、省略します。

💻 使用例

基本的な使用法

from diffusers import ControlNetModel
import torch

controlnet = ControlNetModel.from_pretrained(
    "destitech/controlnet-inpaint-dreamer-sdxl", torch_dtype=torch.float16, variant="fp16"
)

高度な使用法

OzzyGTがアウトペインティングでこのモデルを使用する方法について非常に良いガイドを作成しています。こちらで試してみてください！

📚 ドキュメント

モデルの詳細

公開されたチェックポイント

• モデルリンク
• モデルリンク - fp16バージョン - OzzyGTによる構築

ComfyUIでの使用

• ワークフローリンク

その他の例

📄 ライセンス

このモデルは The CreativeML OpenRAIL M license の下で提供されています。