LCM Dreamshaper V7

🚀 潜在一致性模型（Latent Consistency Models）

潜在一致性模型是一种文本到图像的生成模型，它通过将无分类器引导蒸馏到模型输入中，能够在极短的推理时间内生成高质量图像。

🚀 快速开始

你可以直接在以下链接体验潜在一致性模型：

若要自己运行该模型，可借助 🧨 Diffusers 库：

1. 安装库：

pip install diffusers transformers accelerate

2. 运行模型：

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7", custom_pipeline="latent_consistency_txt2img", custom_revision="main")

# 为节省 GPU 内存，可使用 torch.float16，但可能会影响图像质量。
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# 可设置为 1~50 步。LCM 即使在 <= 4 步时也支持快速推理。建议：1~8 步。
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type="pil").images

✨ 主要特性

• 高效推理：通过将无分类器引导蒸馏到模型输入中，LCM 能够在非常短的推理时间内生成高质量图像。
• 低训练成本：该模型从 Dreamshaper v7 微调而来，而 Dreamshaper v7 又是基于 Stable-Diffusion v1-5 微调的，仅需 4000 次训练迭代（约 32 个 A100 GPU 小时）。

📦 安装指南

要运行潜在一致性模型，你需要安装 🧨 Diffusers 库及其依赖项：

pip install diffusers transformers accelerate

💻 使用示例

基础用法

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7", custom_pipeline="latent_consistency_txt2img", custom_revision="main")

# 为节省 GPU 内存，可使用 torch.float16，但可能会影响图像质量。
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# 可设置为 1~50 步。LCM 即使在 <= 4 步时也支持快速推理。建议：1~8 步。
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type="pil").images

📚 详细文档

模型描述

潜在一致性模型是从 Dreamshaper v7 微调而来，而 Dreamshaper v7 又是基于 Stable-Diffusion v1-5 微调的，仅需 4000 次训练迭代（约 32 个 A100 GPU 小时）。

生成结果

通过将无分类器引导蒸馏到模型输入中，LCM 能够在非常短的推理时间内生成高质量图像。我们在 768 x 768 分辨率、CFG 缩放比例 w = 8、批量大小 = 4 的设置下，使用 A800 GPU 比较了推理时间。

📄 许可证

本项目采用 MIT 许可证。

📚 引用

如果你在研究中使用了潜在一致性模型，请使用以下 BibTeX 引用：

@misc{luo2023latent,
      title={Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference}, 
      author={Simian Luo and Yiqin Tan and Longbo Huang and Jian Li and Hang Zhao},
      year={2023},
      eprint={2310.04378},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

项目链接

• 论文链接：Latent Consistency Models
• 项目页面：https://latent-consistency-models.github.io
• Hugging Face 演示：