Lcm Ssd 1b

🚀 潜一致性模型 (LCM): SSD - 1B

潜一致性模型（LCM）由Simian Luo、Yiqin Tan等人在论文潜一致性模型：通过少步推理合成高分辨率图像中提出。Simian Luo、Suraj Patil和Daniel Gu成功地将相同方法应用于为SDXL创建LCM。

此检查点是[segmind/SSD - 1B](https://huggingface.co/segmind/SSD - 1B)的LCM蒸馏版本，可将推理步骤数减少至仅2 - 8步。

🚀 快速开始

安装依赖

LCM SDXL从🤗 Hugging Face Diffusers库的v0.23.0版本开始支持。要运行该模型，首先需要安装Diffusers库的最新版本以及peft、accelerate和transformers：

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

✨ 主要特性

• 少步推理：能够将推理步骤数大幅减少至2 - 8步，显著提升推理速度。
• 多任务支持：支持文本到图像、图像到图像、图像修复、ControlNet和T2I Adapter等多种任务。

📦 安装指南

运行以下命令安装所需的库：

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

💻 使用示例

基础用法 - 文本到图像

该模型可以使用其基础管道segmind/SSD - 1B加载。接下来，需要将调度器更改为LCMScheduler，这样就可以将推理步骤数减少到2到8步。

from diffusers import UNet2DConditionModel, DiffusionPipeline, LCMScheduler
import torch

unet = UNet2DConditionModel.from_pretrained("latent-consistency/lcm-ssd-1b", torch_dtype=torch.float16, variant="fp16")
pipe = DiffusionPipeline.from_pretrained("segmind/SSD-1B", unet=unet, torch_dtype=torch.float16, variant="fp16")

pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = "a close-up picture of an old man standing in the rain"

image = pipe(prompt, num_inference_steps=4, guidance_scale=1.0).images[0]

高级用法

图像到图像

支持图像到图像任务，具体文档待补充。

图像修复

支持图像修复任务，具体文档待补充。

ControlNet

支持ControlNet任务，具体文档待补充。

T2I Adapter

支持T2I Adapter任务，具体文档待补充。

📄 许可证

本项目使用的许可证为openrail++。