Controlnet Inpaint Dreamer Sdxl

🚀 Controlnet - Inpainting dreamer

このControlNetは、インペインティングとアウトペインティングに対応しています。

これは、ControlNetについてより深く学ぶために実験的に作成された初期アルファバージョンです。

このような作業やこのモデルの開発をサポートしたいですか？是非私にコーヒーを買ってください！

このモデルは、Stable Diffusion XLと連携するように設計されています。これをベースとした任意のモデルで動作するはずです。

インペインティングまたはアウトペインティングする画像は、ノイズ除去を1.0に設定したtxt2imgパイプラインでControlNetの入力として使用します。イン/アウトペイントする部分は、純粋な白で塗りつぶします。

プロンプトに応じて、画像の残りの部分はそのままになる場合もあれば、多かれ少なかれ変更される場合もあります。

✨ 主な機能

このControlNetは、インペインティングとアウトペインティングに特化しており、Stable Diffusion XLベースのモデルと連携可能です。

📚 ドキュメント

モデルの詳細

• 開発者: Destitech
• モデルの種類: Controlnet
• ライセンス: The CreativeML OpenRAIL M license は Open RAIL M license であり、BigScience と the RAIL Initiative が共同で責任あるAIライセンシングの分野で行っている作業を参考にしています。また、当ライセンスのベースとなった the article about the BLOOM Open RAIL license も参照してください。

公開されたチェックポイント

モデルのリンク モデルのリンク - fp16バージョン - OzzyGTによる構築

Diffusersでの使用方法

OzzyGTがこのモデルをアウトペインティングに使用する方法について素晴らしいガイドを作成しました。こちら で試してみてください！

彼がDiffusersとの互換性のためにファイル名を指定する方法やfp16バージョンについて教えてくれたことに大きな感謝を表します。通常版とfp16版の両方で、以下のように使用できるはずです。

from diffusers import ControlNetModel
import torch

controlnet = ControlNetModel.from_pretrained(
    "destitech/controlnet-inpaint-dreamer-sdxl", torch_dtype=torch.float16, variant="fp16"
)

ComfyUIでの使用方法

ワークフローのリンク

その他の例

📄 ライセンス

このモデルは The CreativeML OpenRAIL M license の下で提供されています。