Lcm Lora Ssd 1b

🚀 潛在一致性模型（LCM）LoRA：SSD - 1B

潛在一致性模型（LCM）LoRA 是一種用於文本到圖像生成的高效加速模塊。它能顯著減少推理步驟，提升圖像生成效率，為文本到圖像的生成任務帶來了更快速的解決方案。

🚀 快速開始

潛在一致性模型（LCM）LoRA 在論文 LCM - LoRA: A universal Stable - Diffusion Acceleration Module 中被提出，作者為 Simian Luo、Yiqin Tan、Suraj Patil、Daniel Gu 等人。它是針對 [segmind/SSD - 1B](https://huggingface.co/segmind/SSD - 1B) 的蒸餾一致性適配器，可將推理步驟減少至僅 2 - 8 步。

📦 安裝指南

LCM - LoRA 在 🤗 Hugging Face Diffusers 庫的 v0.23.0 及更高版本中得到支持。要運行該模型，首先需要安裝最新版本的 Diffusers 庫以及 peft、accelerate 和 transformers。可以使用以下命令進行安裝：

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

💻 使用示例

基礎用法 - 文本到圖像

首先，我們需要加載基礎模型 segmind/SSD - 1B。接著，將調度器更改為 LCMScheduler，這樣就可以將推理步驟減少到 2 到 8 步。請確保禁用 guidance_scale 或使用 1.0 到 2.0 之間的值。

import torch
from diffusers import LCMScheduler, AutoPipelineForText2Image

model_id = "segmind/SSD-1B"
adapter_id = "latent-consistency/lcm-lora-ssd-1b"

pipe = AutoPipelineForText2Image.from_pretrained(model_id, torch_dtype=torch.float16, variant="fp16")
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

# load and fuse lcm lora
pipe.load_lora_weights(adapter_id)
pipe.fuse_lora()


prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# disable guidance_scale by passing 0
image = pipe(prompt=prompt, num_inference_steps=4, guidance_scale=0).images[0]

高級用法

• 圖像到圖像：同樣適用！相關文檔待補充。
• 圖像修復：同樣適用！相關文檔待補充。
• ControlNet：同樣適用！相關文檔待補充。
• T2I 適配器：同樣適用！相關文檔待補充。

📄 許可證

本項目採用 openrail++ 許可證。