Mistoline

🚀 MistoLine

MistoLine是一款多功能且强大的SDXL - ControlNet模型，能够适应各种类型的线稿输入条件，为用户生成高质量图像。

🚀 快速开始

MistoLine是一个SDXL - ControlNet模型，可适应任何类型的线稿输入，具有高精度和出色的稳定性。它能根据用户提供的各种类型线稿，包括手绘草图、不同的ControlNet线稿预处理器生成的线稿以及模型生成的轮廓，生成高质量图像（短边大于1024px）。MistoLine无需为不同的线稿预处理器选择不同的ControlNet模型，因为它在各种线稿条件下都表现出强大的泛化能力。

模型与大多数SDXL模型兼容，但不包括PlaygroundV2.5、CosXL和SDXL - Lightning（可能）。它可以与LCM和其他ControlNet模型结合使用。

安装依赖

pip install accelerate transformers safetensors opencv-python diffusers

代码示例

from diffusers import ControlNetModel, StableDiffusionXLControlNetPipeline, AutoencoderKL
from diffusers.utils import load_image
from PIL import Image
import torch
import numpy as np
import cv2

prompt = "aerial view, a futuristic research complex in a bright foggy jungle, hard lighting"
negative_prompt = 'low quality, bad quality, sketches'

image = load_image("https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/sd_controlnet/hf-logo.png")

controlnet_conditioning_scale = 0.5

controlnet = ControlNetModel.from_pretrained(
    "TheMistoAI/MistoLine",
    torch_dtype=torch.float16,
    variant="fp16",
)
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet=controlnet,
    vae=vae,
    torch_dtype=torch.float16,
)
pipe.enable_model_cpu_offload()

image = np.array(image)
image = cv2.Canny(image, 100, 200)
image = image[:, :, None]
image = np.concatenate([image, image, image], axis=2)
image = Image.fromarray(image)

images = pipe(
    prompt, negative_prompt=negative_prompt, image=image, controlnet_conditioning_scale=controlnet_conditioning_scale,
    ).images

images[0].save(f"hug_lab.png")

✨ 主要特性

• 通用性强：能够适应任何类型的线稿输入，无需为不同的线稿预处理器选择不同的ControlNet模型。
• 高精度与稳定性：生成的图像具有高精度和出色的稳定性，短边大于1024px。
• 泛化能力强：在各种线稿条件下都表现出强大的泛化能力。
• 兼容性好：与大多数SDXL模型兼容，可与LCM和其他ControlNet模型结合使用。

💻 使用示例

基础用法

在ComfyUI中使用MistoLine，可参考以下参数设置：

sampler steps:30
CFG:7.0
sampler_name:dpmpp_2m_sde
scheduler:karras
denoise:0.93
controlnet_strength:1.0
stargt_percent:0.0
end_percent:0.9

高级用法

草图渲染

以下案例仅使用MistoLine作为ControlNet：

模型渲染

以下案例仅使用Anyline作为预处理器，MistoLine作为ControlNet：

ComfyUI使用示例

🔧 技术细节

我们通过采用一种新颖的线稿预处理算法**Anyline**，并基于stabilityai/stable - diffusion - xl - base - 1.0的Unet对ControlNet模型进行重新训练，同时在大模型训练工程方面进行创新，开发了MistoLine。MistoLine在不同类型的线稿输入上都展示了卓越的性能，在细节还原、提示对齐和稳定性方面超越了现有的ControlNet模型，尤其是在更复杂的场景中。

MistoLine与@lllyasviel发布的ControlNet架构保持一致，如下图所示：

参考：https://github.com/lllyasviel/ControlNet

更多关于ControlNet的信息可参考以下链接：
https://github.com/lllyasviel/ControlNet
https://huggingface.co/docs/diffusers/main/en/api/pipelines/controlnet_sdxl

📦 模型下载

模型版本

• mistoLine_rank256.safetensors：通用版本，适用于ComfyUI和AUTOMATIC1111 - WebUI。
• mistoLine_fp16.safetensors：FP16权重版本，适用于ComfyUI和AUTOMATIC1111 - WebUI。

注意

mistoLine_rank256.safetensors表现更加出色！

中国（大陆地区）便捷下载地址

链接：https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG_w?pwd=8mzs
提取码：8mzs

📄 许可证

本模型采用OpenRail++许可证。

使用限制

以下使用本模型的行为是不允许的：

• 违反法律法规
• 伤害或剥削未成年人
• 创建和传播虚假信息
• 侵犯他人隐私
• 诽谤或骚扰他人
• 损害他人合法权益的自动决策
• 基于社会行为或个人特征的歧视
• 利用特定群体的弱点误导其行为
• 基于受法律保护的特征进行歧视
• 提供医疗建议和诊断结果
• 不恰当地生成和使用信息用于执法和移民等目的

商业使用条件

如果您将本模型用于商业用途或进行分发，必须遵守以下条件：

1. 在产品的文档、网站或其他显著可见的位置，明确认可TheMisto.ai对本模型的贡献。 示例："本产品使用了TheMisto.ai开发的MistoLine - SDXL - ControlNet。"
2. 如果您的产品包含关于页面、自述文件或其他类似的显示区域，必须在这些区域中包含上述归属信息。
3. 如果您的产品没有上述区域，必须在产品的其他合理位置包含归属信息，以确保最终用户能够注意到。
4. 您不得以任何方式暗示TheMisto.ai认可或推广您的产品。归属信息的使用仅用于表明本模型的来源。

如果您对如何在特定情况下提供归属信息有任何疑问，请联系info@themisto.ai。

📚 引用信息

@misc{
      title={Adding Conditional Control to Text-to-Image Diffusion Models}, 
      author={Lvmin Zhang, Anyi Rao, Maneesh Agrawala},
      year={2023},
      eprint={2302.05543},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

相关链接

• GitHub仓库
• Anyline仓库

不同线稿预处理器应用展示

与其他ControlNet对比