Slam Lora Sdxl

🚀 Sub-path Linear Approximation Model (SLAM) LoRA: SDXL

このモデルは、提案されたSub-path Linear Approximation Modelを用いてstabilityai/stable-diffusion-xl-base-1.0から蒸留されたチェックポイントです。推論ステップ数をわずか2 - 4ステップに削減することができます。

🚀 クイックスタート

論文とプロジェクトページ

• 論文: https://arxiv.org/abs/2404.13903
• プロジェクトページ: https://subpath-linear-approx-model.github.io/

📦 インストール

まず、Diffusersライブラリの最新バージョンと、peft、accelerate、transformersをインストールします。

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

💻 使用例

基本的な使用法

我々はSLAMをLCMSchedulerと互換性があるように実装しています。SLAM-LoRAはLCM-LoRAと同じように使用できます。

import torch
from diffusers import LCMScheduler, AutoPipelineForText2Image

model_id = "stabilityai/stable-diffusion-xl-base-1.0"
adapter_id = "alimama-creative/slam-lora-sdxl"

pipe = AutoPipelineForText2Image.from_pretrained(model_id, torch_dtype=torch.float16, variant="fp16")
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

# load and fuse lcm lora
pipe.load_lora_weights(adapter_id)
pipe.fuse_lora()

prompt = "A brown teddy bear holding a glass vase in front of a grave."

image = pipe(prompt=prompt, num_inference_steps=4, guidance_scale=1.0).images[0]

比較

latent-consistency/lcm-lora-sdxlとの比較です。

その他の例

より多くの例を以下に示します。

📄 ライセンス

このプロジェクトはApache 2.0ライセンスの下で提供されています。