Lcm Sdxl

🚀 潛在一致性模型 (LCM): SDXL

潛在一致性模型（Latent Consistency Model，LCM）由 Simian Luo、Yiqin Tan 等人 在論文 潛在一致性模型：通過少步推理合成高分辨率圖像 中提出。Simian Luo、Suraj Patil 和 Daniel Gu 成功地將相同方法應用於為 SDXL 創建 LCM。

此檢查點是 stable-diffusion-xl-base-1.0 的 LCM 蒸餾版本，它允許將推理步驟數減少到僅 2 - 8 步。

🚀 快速開始

LCM SDXL 從 🤗 Hugging Face Diffusers 庫的 v0.23.0 版本開始得到支持。要運行該模型，首先需要安裝最新版本的 Diffusers 庫以及 peft、accelerate 和 transformers。可以從 Hugging Face Hub 安裝：

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

✨ 主要特性

• 基於潛在一致性模型（LCM），能夠大幅減少推理步驟，在 2 - 8 步內合成高分辨率圖像。
• 支持文本到圖像、圖像到圖像、圖像修復、ControlNet 和 T2I Adapter 等多種應用場景。

📦 安裝指南

要運行 LCM SDXL 模型，需要安裝最新版本的 Diffusers 庫以及相關依賴：

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

💻 使用示例

基礎用法

文本到圖像

模型可以使用其基礎管道 stabilityai/stable-diffusion-xl-base-1.0 加載。接下來，需要將調度器更改為 LCMScheduler，並且可以將推理步驟數減少到僅 2 到 8 步。請確保禁用 guidance_scale 或使用 1.0 到 2.0 之間的值。

from diffusers import UNet2DConditionModel, DiffusionPipeline, LCMScheduler
import torch

unet = UNet2DConditionModel.from_pretrained("latent-consistency/lcm-sdxl", torch_dtype=torch.float16, variant="fp16")
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", unet=unet, torch_dtype=torch.float16, variant="fp16")

pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = "a close-up picture of an old man standing in the rain"

image = pipe(prompt, num_inference_steps=4, guidance_scale=8.0).images[0]

高級用法

圖像到圖像

此功能也支持！文檔待補充。

圖像修復

此功能也支持！文檔待補充。

ControlNet

此功能也支持！文檔待補充。

T2I Adapter

此功能也支持！文檔待補充。

📚 詳細文檔

模型信息

速度基準

文檔待補充。

訓練

文檔待補充。

📄 許可證

本項目採用 openrail++ 許可證。