Mistoline

🚀 MistoLine

MistoLineは、あらゆる種類の線画入力に適応できる、汎用的かつ堅牢なSDXL - ControlNetモデルです。高精度と卓越した安定性を兼ね備え、ユーザーが提供する様々な線画に基づいて高品質な画像を生成します。

🚀 クイックスタート

MistoLineは、あらゆる種類の線画入力に適応できるSDXL - ControlNetモデルで、高精度と優れた安定性を示します。ユーザーが提供する様々な種類の線画（手描きのスケッチ、異なるControlNetの線前処理器、モデルが生成したアウトラインなど）に基づいて、短辺が1024pxを超える高品質な画像を生成できます。MistoLineは、異なる線前処理器に対して異なるControlNetモデルを選択する必要がなく、多様な線画条件に対して強い汎化能力を発揮します。

GitHub Repo

✨ 主な機能

最新情報！！！Anyline - 前処理器がリリースされました！！！

Anyline Repo

MistoLineは、あらゆる種類の線画入力に適応できる、汎用的かつ堅牢なSDXL - ControlNetモデルです。高精度と卓越した安定性を兼ね備え、ユーザーが提供する様々な線画に基づいて高品質な画像を生成します。

私たちは、新しい線前処理アルゴリズム**Anyline**を採用し、stabilityai/stable - diffusion - xl - base - 1.0のUnetに基づいてControlNetモデルを再トレーニングし、大規模モデルトレーニングエンジニアリングに革新を加えることでMistoLineを開発しました。MistoLineは、異なる種類の線画入力に対して優れた性能を発揮し、特に複雑なシナリオでは、詳細復元、プロンプトの一致、安定性の点で既存のControlNetモデルを上回ります。

MistoLineは、@lllyasvielによってリリースされたControlNetアーキテクチャと整合性を保っています。以下の模式図に示すとおりです。


参考：https://github.com/lllyasviel/ControlNet

ControlNetに関する詳細情報は、以下の参考文献を参照してください。
https://github.com/lllyasviel/ControlNet
https://huggingface.co/docs/diffusers/main/en/api/pipelines/controlnet_sdxl

このモデルは、PlaygroundV2.5、CosXL、SDXL - Lightning（おそらく）を除くほとんどのSDXLモデルと互換性があります。LCMや他のControlNetモデルと組み合わせて使用することができます。

禁止事項

このモデルの以下の使用は許可されていません。

• 法令違反
• 未成年者の危害や搾取
• 虚偽情報の作成と拡散
• 他人のプライバシー侵害
• 他人の中傷や嫌がらせ
• 他人の法的権利を害する自動的な決定
• 社会的行動や個人特性に基づく差別
• 特定のグループの脆弱性を利用した行動誘導
• 法的に保護された特性に基づく差別
• 医療アドバイスや診断結果の提供
• 法執行や移民などの目的での不適切な情報生成と使用

商用利用条件

このモデルを商用目的で使用または配布する場合は、以下の条件を遵守する必要があります。

1. 製品のドキュメント、ウェブサイト、またはその他の目立つ場所で、TheMisto.aiがこのモデルに対して行った貢献を明確に記載してください。
   例：「この製品は、TheMisto.aiが開発したMistoLine - SDXL - ControlNetを使用しています。」
2. 製品に関する画面、READMEファイル、またはその他の同様の表示領域がある場合は、それらの領域に上記の帰属情報を含める必要があります。
3. 上記の領域がない場合は、製品内の他の適切な場所に帰属情報を含め、最終ユーザーが気付くようにしてください。
4. TheMisto.aiがあなたの製品を推奨または宣伝していることを暗示してはなりません。帰属情報の使用は、このモデルの出所を示すためだけのものです。
   特定のケースでの帰属方法に関する質問がある場合は、info@themisto.aiにお問い合わせください。

モデルの出力は検閲されておらず、著者は生成されたコンテンツの意見を支持するものではありません。自己責任で使用してください。

異なる線前処理器での適用

他のControlNetとの比較

💻 使用例

基本的な使用法

スケッチレンダリング

以下のケースでは、MistoLineのみをControlNetとして使用しています。

モデルレンダリング

以下のケースでは、Anylineを前処理器とし、MistoLineをControlNetとして使用しています。

高度な使用法

ComfyUIでの推奨パラメータ

sampler steps:30
CFG:7.0
sampler_name:dpmpp_2m_sde
scheduler:karras
denoise:0.93
controlnet_strength:1.0
stargt_percent:0.0
end_percent:0.9

Diffusersパイプライン

まず、ライブラリをインストールすることを確認してください。

pip install accelerate transformers safetensors opencv-python diffusers

そして、以下のコードで使用を開始できます。

from diffusers import ControlNetModel, StableDiffusionXLControlNetPipeline, AutoencoderKL
from diffusers.utils import load_image
from PIL import Image
import torch
import numpy as np
import cv2

prompt = "aerial view, a futuristic research complex in a bright foggy jungle, hard lighting"
negative_prompt = 'low quality, bad quality, sketches'

image = load_image("https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/sd_controlnet/hf-logo.png")

controlnet_conditioning_scale = 0.5

controlnet = ControlNetModel.from_pretrained(
    "TheMistoAI/MistoLine",
    torch_dtype=torch.float16,
    variant="fp16",
)
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet=controlnet,
    vae=vae,
    torch_dtype=torch.float16,
)
pipe.enable_model_cpu_offload()

image = np.array(image)
image = cv2.Canny(image, 100, 200)
image = image[:, :, None]
image = np.concatenate([image, image, image], axis=2)
image = Image.fromarray(image)

images = pipe(
    prompt, negative_prompt=negative_prompt, image=image, controlnet_conditioning_scale=controlnet_conditioning_scale,
    ).images

images[0].save(f"hug_lab.png")

📚 ドキュメント

チェックポイント

• mistoLine_rank256.safetensors : 一般的な使用バージョン、ComfyUIおよびAUTOMATIC1111 - WebUI用。
• mistoLine_fp16.safetensors : FP16ウェイト、ComfyUIおよびAUTOMATIC1111 - WebUI用。

注意事項

!!!mistoLine_rank256.safetensorsはmistoLine_fp16.safetensorsよりも性能が優れています！！

ComfyUIでの使用方法

中国（大陸地区）での便捷ダウンロード

リンク：https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG_w?pwd=8mzs
パスワード：8mzs

引用

@misc{
      title={Adding Conditional Control to Text-to-Image Diffusion Models}, 
      author={Lvmin Zhang, Anyi Rao, Maneesh Agrawala},
      year={2023},
      eprint={2302.05543},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

📄 ライセンス

このモデルのライセンスはOpenRail++です。