Lcm Lora Ssd 1b

🚀 潜在一致性模型（LCM）LoRA：SSD - 1B

潜在一致性模型（LCM）LoRA 是一种用于文本到图像生成的高效加速模块。它能显著减少推理步骤，提升图像生成效率，为文本到图像的生成任务带来了更快速的解决方案。

🚀 快速开始

潜在一致性模型（LCM）LoRA 在论文 LCM - LoRA: A universal Stable - Diffusion Acceleration Module 中被提出，作者为 Simian Luo、Yiqin Tan、Suraj Patil、Daniel Gu 等人。它是针对 [segmind/SSD - 1B](https://huggingface.co/segmind/SSD - 1B) 的蒸馏一致性适配器，可将推理步骤减少至仅 2 - 8 步。

📦 安装指南

LCM - LoRA 在 🤗 Hugging Face Diffusers 库的 v0.23.0 及更高版本中得到支持。要运行该模型，首先需要安装最新版本的 Diffusers 库以及 peft、accelerate 和 transformers。可以使用以下命令进行安装：

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

💻 使用示例

基础用法 - 文本到图像

首先，我们需要加载基础模型 segmind/SSD - 1B。接着，将调度器更改为 LCMScheduler，这样就可以将推理步骤减少到 2 到 8 步。请确保禁用 guidance_scale 或使用 1.0 到 2.0 之间的值。

import torch
from diffusers import LCMScheduler, AutoPipelineForText2Image

model_id = "segmind/SSD-1B"
adapter_id = "latent-consistency/lcm-lora-ssd-1b"

pipe = AutoPipelineForText2Image.from_pretrained(model_id, torch_dtype=torch.float16, variant="fp16")
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

# load and fuse lcm lora
pipe.load_lora_weights(adapter_id)
pipe.fuse_lora()


prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# disable guidance_scale by passing 0
image = pipe(prompt=prompt, num_inference_steps=4, guidance_scale=0).images[0]

高级用法

• 图像到图像：同样适用！相关文档待补充。
• 图像修复：同样适用！相关文档待补充。
• ControlNet：同样适用！相关文档待补充。
• T2I 适配器：同样适用！相关文档待补充。

📄 许可证

本项目采用 openrail++ 许可证。