LCM Dreamshaper V7

🚀 Latent Consistency Models

論文「Latent Consistency Models」の公式リポジトリです。このプロジェクトは、短い推論時間で高品質な画像生成を実現するテキスト-to-画像モデルに関するものです。

🚀 クイックスタート

このモデルをすぐに試すことができます。以下のHugging Faceのデモを利用してください。

✨ 主な機能

• 高速推論：分類器なしガイダンスをモデルの入力に蒸留することで、短い推論時間で高品質な画像を生成できます。
• 少ない学習反復：Dreamshaper v7 を Stable-Diffusion v1 - 5 から微調整し、わずか4,000回の学習反復（約32 A100 GPU時間）で構築されています。

📦 インストール

モデルを自分で実行するには、🧨 Diffusersライブラリを利用できます。

1. ライブラリのインストール:

pip install --upgrade diffusers  # 少なくともdiffusers >= 0.22を使用することを確認
pip install transformers accelerate

💻 使用例

基本的な使用法

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7")

# To save GPU memory, torch.float16 can be used, but it may compromise image quality.
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# Can be set to 1~50 steps. LCM support fast inference even <= 4 steps. Recommend: 1~8 steps.
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type="pil").images

旧使用方法

1. ライブラリのインストール:

pip install diffusers transformers accelerate

2. モデルの実行:

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7", custom_pipeline="latent_consistency_txt2img", custom_revision="main", revision="fb9c5d")

# To save GPU memory, torch.float16 can be used, but it may compromise image quality.
pipe.to(torch_device="cuda", torch_dtype=torch.float32)

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# Can be set to 1~50 steps. LCM support fast inference even <= 4 steps. Recommend: 1~8 steps.
num_inference_steps = 4 

images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, output_type="pil").images

📚 ドキュメント

詳細情報については、公式ドキュメントを参照してください。 👉 https://huggingface.co/docs/diffusers/api/pipelines/latent_consistency_models#latent-consistency-models

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

🔧 技術詳細

生成結果

モデルの性能を可視化するため、以下の画像を用意しています。

768 x 768解像度、CFGスケールw = 8、バッチサイズ = 4の設定で、A800 GPUを使用して推論時間を比較しました。

BibTeX

@misc{luo2023latent,
      title={Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference}, 
      author={Simian Luo and Yiqin Tan and Longbo Huang and Jian Li and Hang Zhao},
      year={2023},
      eprint={2310.04378},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}