Lcm Sdxl

🚀 潜在一致性模型 (LCM): SDXL

潜在一致性模型（Latent Consistency Model，LCM）由 Simian Luo、Yiqin Tan 等人 在论文 潜在一致性模型：通过少步推理合成高分辨率图像 中提出。Simian Luo、Suraj Patil 和 Daniel Gu 成功地将相同方法应用于为 SDXL 创建 LCM。

此检查点是 stable-diffusion-xl-base-1.0 的 LCM 蒸馏版本，它允许将推理步骤数减少到仅 2 - 8 步。

🚀 快速开始

LCM SDXL 从 🤗 Hugging Face Diffusers 库的 v0.23.0 版本开始得到支持。要运行该模型，首先需要安装最新版本的 Diffusers 库以及 peft、accelerate 和 transformers。可以从 Hugging Face Hub 安装：

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

✨ 主要特性

• 基于潜在一致性模型（LCM），能够大幅减少推理步骤，在 2 - 8 步内合成高分辨率图像。
• 支持文本到图像、图像到图像、图像修复、ControlNet 和 T2I Adapter 等多种应用场景。

📦 安装指南

要运行 LCM SDXL 模型，需要安装最新版本的 Diffusers 库以及相关依赖：

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

💻 使用示例

基础用法

文本到图像

模型可以使用其基础管道 stabilityai/stable-diffusion-xl-base-1.0 加载。接下来，需要将调度器更改为 LCMScheduler，并且可以将推理步骤数减少到仅 2 到 8 步。请确保禁用 guidance_scale 或使用 1.0 到 2.0 之间的值。

from diffusers import UNet2DConditionModel, DiffusionPipeline, LCMScheduler
import torch

unet = UNet2DConditionModel.from_pretrained("latent-consistency/lcm-sdxl", torch_dtype=torch.float16, variant="fp16")
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", unet=unet, torch_dtype=torch.float16, variant="fp16")

pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = "a close-up picture of an old man standing in the rain"

image = pipe(prompt, num_inference_steps=4, guidance_scale=8.0).images[0]

高级用法

图像到图像

此功能也支持！文档待补充。

图像修复

此功能也支持！文档待补充。

ControlNet

此功能也支持！文档待补充。

T2I Adapter

此功能也支持！文档待补充。

📚 详细文档

模型信息

速度基准

文档待补充。

训练

文档待补充。

📄 许可证

本项目采用 openrail++ 许可证。