Slam Lora Sdxl

🚀 子路徑線性近似模型 (SLAM) LoRA: SDXL

本項目提出的子路徑線性近似模型（SLAM）LoRA for SDXL，是從 stabilityai/stable-diffusion-xl-base-1.0 中提煉而來，能將推理步驟大幅減少至 2 - 4 步，顯著提升文本到圖像生成的效率。

🚀 快速開始

安裝依賴

首先，你需要安裝最新版本的 Diffusers 庫以及 peft、accelerate 和 transformers。

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

使用示例

基礎用法

我們將 SLAM 實現為與 LCMScheduler 兼容，你可以像使用 LCM - LoRA 一樣使用 SLAM - LoRA。

import torch
from diffusers import LCMScheduler, AutoPipelineForText2Image

model_id = "stabilityai/stable-diffusion-xl-base-1.0"
adapter_id = "alimama-creative/slam-lora-sdxl"

pipe = AutoPipelineForText2Image.from_pretrained(model_id, torch_dtype=torch.float16, variant="fp16")
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

# load and fuse lcm lora
pipe.load_lora_weights(adapter_id)
pipe.fuse_lora()

prompt = "A brown teddy bear holding a glass vase in front of a grave."

image = pipe(prompt=prompt, num_inference_steps=4, guidance_scale=1.0).images[0]

效果對比

與 latent - consistency/lcm - lora - sdxl 對比效果如下：

更多示例

更多使用 SLAM - LoRA 的示例效果：

📚 詳細文檔

• 論文鏈接：https://arxiv.org/abs/2404.13903
• 項目主頁：https://subpath-linear-approx-model.github.io/

📄 許可證

本項目採用 apache - 2.0 許可證。

📦 項目信息