LCM Dreamshaper V7

🚀 潛在一致性模型（Latent Consistency Models）

潛在一致性模型（Latent Consistency Models）是一個用於文本到圖像生成的模型，它能在極短的推理時間內生成高質量圖像，為圖像生成領域帶來了高效的解決方案。

🚀 快速開始

你可以直接在以下鏈接嘗試潛在一致性模型：

若要自己運行該模型，可藉助 🧨 Diffusers 庫：

1. 安裝庫：

pip install --upgrade diffusers  # 確保使用至少 diffusers >= 0.22
pip install transformers accelerate

2. 運行模型：

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7")

# 為節省 GPU 內存，可使用 torch.float16，但可能會影響圖像質量。
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# 可設置為 1~50 步。LCM 即使在 <= 4 步時也支持快速推理。建議：1~8 步。
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type="pil").images

更多信息，請查看官方文檔： 👉 https://huggingface.co/docs/diffusers/api/pipelines/latent_consistency_models#latent-consistency-models

✨ 主要特性

• 高效推理：通過將無分類器引導蒸餾到模型輸入中，LCM 能夠在極短的推理時間內生成高質量圖像。
• 輕量訓練：僅用 4000 次訓練迭代（約 32 個 A100 GPU 小時）從 Dreamshaper v7 微調 Stable-Diffusion v1 - 5 中提煉而來。

📚 詳細文檔

模型描述

該模型從 Dreamshaper v7 對 Stable-Diffusion v1 - 5 的微調版本中提煉而來，僅進行了 4000 次訓練迭代（約 32 個 A100 GPU 小時）。

生成結果

通過將無分類器引導蒸餾到模型輸入中，LCM 可以在極短的推理時間內生成高質量圖像。我們在 768 x 768 分辨率、CFG 比例 w = 8、批量大小 = 4 的設置下，使用 A800 GPU 比較了推理時間。

舊版使用方法

1. 安裝庫：

pip install diffusers transformers accelerate

2. 運行模型：

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7", custom_pipeline="latent_consistency_txt2img", custom_revision="main", revision="fb9c5d")

# 為節省 GPU 內存，可使用 torch.float16，但可能會影響圖像質量。
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# 可設置為 1~50 步。LCM 即使在 <= 4 步時也支持快速推理。建議：1~8 步。
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, output_type="pil").images

📄 許可證

本項目採用 MIT 許可證。

📖 引用

@misc{luo2023latent,
      title={Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference}, 
      author={Simian Luo and Yiqin Tan and Longbo Huang and Jian Li and Hang Zhao},
      year={2023},
      eprint={2310.04378},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

項目鏈接

• 論文官方倉庫：Latent Consistency Models
• 項目頁面：https://latent-consistency-models.github.io