LCM Dreamshaper V7

🚀 潛在一致性模型（Latent Consistency Models）

潛在一致性模型是一種文本到圖像的生成模型，它通過將無分類器引導蒸餾到模型輸入中，能夠在極短的推理時間內生成高質量圖像。

🚀 快速開始

你可以直接在以下鏈接體驗潛在一致性模型：

若要自己運行該模型，可藉助 🧨 Diffusers 庫：

1. 安裝庫：

pip install diffusers transformers accelerate

2. 運行模型：

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7", custom_pipeline="latent_consistency_txt2img", custom_revision="main")

# 為節省 GPU 內存，可使用 torch.float16，但可能會影響圖像質量。
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# 可設置為 1~50 步。LCM 即使在 <= 4 步時也支持快速推理。建議：1~8 步。
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type="pil").images

✨ 主要特性

• 高效推理：通過將無分類器引導蒸餾到模型輸入中，LCM 能夠在非常短的推理時間內生成高質量圖像。
• 低訓練成本：該模型從 Dreamshaper v7 微調而來，而 Dreamshaper v7 又是基於 Stable-Diffusion v1-5 微調的，僅需 4000 次訓練迭代（約 32 個 A100 GPU 小時）。

📦 安裝指南

要運行潛在一致性模型，你需要安裝 🧨 Diffusers 庫及其依賴項：

pip install diffusers transformers accelerate

💻 使用示例

基礎用法

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7", custom_pipeline="latent_consistency_txt2img", custom_revision="main")

# 為節省 GPU 內存，可使用 torch.float16，但可能會影響圖像質量。
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# 可設置為 1~50 步。LCM 即使在 <= 4 步時也支持快速推理。建議：1~8 步。
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type="pil").images

📚 詳細文檔

模型描述

潛在一致性模型是從 Dreamshaper v7 微調而來，而 Dreamshaper v7 又是基於 Stable-Diffusion v1-5 微調的，僅需 4000 次訓練迭代（約 32 個 A100 GPU 小時）。

生成結果

通過將無分類器引導蒸餾到模型輸入中，LCM 能夠在非常短的推理時間內生成高質量圖像。我們在 768 x 768 分辨率、CFG 縮放比例 w = 8、批量大小 = 4 的設置下，使用 A800 GPU 比較了推理時間。

📄 許可證

本項目採用 MIT 許可證。

📚 引用

如果你在研究中使用了潛在一致性模型，請使用以下 BibTeX 引用：

@misc{luo2023latent,
      title={Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference}, 
      author={Simian Luo and Yiqin Tan and Longbo Huang and Jian Li and Hang Zhao},
      year={2023},
      eprint={2310.04378},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

項目鏈接

• 論文鏈接：Latent Consistency Models
• 項目頁面：https://latent-consistency-models.github.io
• Hugging Face 演示：