Mistoline

🚀 MistoLine

MistoLine是一款多功能且強大的SDXL - ControlNet模型，能夠適應各種類型的線稿輸入條件，為用戶生成高質量圖像。

🚀 快速開始

MistoLine是一個SDXL - ControlNet模型，可適應任何類型的線稿輸入，具有高精度和出色的穩定性。它能根據用戶提供的各種類型線稿，包括手繪草圖、不同的ControlNet線稿預處理器生成的線稿以及模型生成的輪廓，生成高質量圖像（短邊大於1024px）。MistoLine無需為不同的線稿預處理器選擇不同的ControlNet模型，因為它在各種線稿條件下都表現出強大的泛化能力。

模型與大多數SDXL模型兼容，但不包括PlaygroundV2.5、CosXL和SDXL - Lightning（可能）。它可以與LCM和其他ControlNet模型結合使用。

安裝依賴

pip install accelerate transformers safetensors opencv-python diffusers

代碼示例

from diffusers import ControlNetModel, StableDiffusionXLControlNetPipeline, AutoencoderKL
from diffusers.utils import load_image
from PIL import Image
import torch
import numpy as np
import cv2

prompt = "aerial view, a futuristic research complex in a bright foggy jungle, hard lighting"
negative_prompt = 'low quality, bad quality, sketches'

image = load_image("https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/sd_controlnet/hf-logo.png")

controlnet_conditioning_scale = 0.5

controlnet = ControlNetModel.from_pretrained(
    "TheMistoAI/MistoLine",
    torch_dtype=torch.float16,
    variant="fp16",
)
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet=controlnet,
    vae=vae,
    torch_dtype=torch.float16,
)
pipe.enable_model_cpu_offload()

image = np.array(image)
image = cv2.Canny(image, 100, 200)
image = image[:, :, None]
image = np.concatenate([image, image, image], axis=2)
image = Image.fromarray(image)

images = pipe(
    prompt, negative_prompt=negative_prompt, image=image, controlnet_conditioning_scale=controlnet_conditioning_scale,
    ).images

images[0].save(f"hug_lab.png")

✨ 主要特性

• 通用性強：能夠適應任何類型的線稿輸入，無需為不同的線稿預處理器選擇不同的ControlNet模型。
• 高精度與穩定性：生成的圖像具有高精度和出色的穩定性，短邊大於1024px。
• 泛化能力強：在各種線稿條件下都表現出強大的泛化能力。
• 兼容性好：與大多數SDXL模型兼容，可與LCM和其他ControlNet模型結合使用。

💻 使用示例

基礎用法

在ComfyUI中使用MistoLine，可參考以下參數設置：

sampler steps:30
CFG:7.0
sampler_name:dpmpp_2m_sde
scheduler:karras
denoise:0.93
controlnet_strength:1.0
stargt_percent:0.0
end_percent:0.9

高級用法

草圖渲染

以下案例僅使用MistoLine作為ControlNet：

模型渲染

以下案例僅使用Anyline作為預處理器，MistoLine作為ControlNet：

ComfyUI使用示例

🔧 技術細節

我們通過採用一種新穎的線稿預處理算法**Anyline**，並基於stabilityai/stable - diffusion - xl - base - 1.0的Unet對ControlNet模型進行重新訓練，同時在大模型訓練工程方面進行創新，開發了MistoLine。MistoLine在不同類型的線稿輸入上都展示了卓越的性能，在細節還原、提示對齊和穩定性方面超越了現有的ControlNet模型，尤其是在更復雜的場景中。

MistoLine與@lllyasviel發佈的ControlNet架構保持一致，如下圖所示：

參考：https://github.com/lllyasviel/ControlNet

更多關於ControlNet的信息可參考以下鏈接：
https://github.com/lllyasviel/ControlNet
https://huggingface.co/docs/diffusers/main/en/api/pipelines/controlnet_sdxl

📦 模型下載

模型版本

• mistoLine_rank256.safetensors：通用版本，適用於ComfyUI和AUTOMATIC1111 - WebUI。
• mistoLine_fp16.safetensors：FP16權重版本，適用於ComfyUI和AUTOMATIC1111 - WebUI。

注意

mistoLine_rank256.safetensors表現更加出色！

中國（大陸地區）便捷下載地址

鏈接：https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG_w?pwd=8mzs
提取碼：8mzs

📄 許可證

本模型採用OpenRail++許可證。

使用限制

以下使用本模型的行為是不允許的：

• 違反法律法規
• 傷害或剝削未成年人
• 創建和傳播虛假信息
• 侵犯他人隱私
• 誹謗或騷擾他人
• 損害他人合法權益的自動決策
• 基於社會行為或個人特徵的歧視
• 利用特定群體的弱點誤導其行為
• 基於受法律保護的特徵進行歧視
• 提供醫療建議和診斷結果
• 不恰當地生成和使用信息用於執法和移民等目的

商業使用條件

如果您將本模型用於商業用途或進行分發，必須遵守以下條件：

1. 在產品的文檔、網站或其他顯著可見的位置，明確認可TheMisto.ai對本模型的貢獻。 示例："本產品使用了TheMisto.ai開發的MistoLine - SDXL - ControlNet。"
2. 如果您的產品包含關於頁面、自述文件或其他類似的顯示區域，必須在這些區域中包含上述歸屬信息。
3. 如果您的產品沒有上述區域，必須在產品的其他合理位置包含歸屬信息，以確保最終用戶能夠注意到。
4. 您不得以任何方式暗示TheMisto.ai認可或推廣您的產品。歸屬信息的使用僅用於表明本模型的來源。

如果您對如何在特定情況下提供歸屬信息有任何疑問，請聯繫info@themisto.ai。

📚 引用信息

@misc{
      title={Adding Conditional Control to Text-to-Image Diffusion Models}, 
      author={Lvmin Zhang, Anyi Rao, Maneesh Agrawala},
      year={2023},
      eprint={2302.05543},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

相關鏈接

• GitHub倉庫
• Anyline倉庫

不同線稿預處理器應用展示

與其他ControlNet對比