Animatelcm

🚀 AnimateLCMによる4ステップでの高速ビデオ生成

AnimateLCMは、個人用ビデオデータを必要とせずに、計算効率の高いパーソナライズされたスタイルのビデオ生成を実現します。

AnimateLCM: Computation-Efficient Personalized Style Video Generation without Personalized Video Data by Fu-Yun Wang et al.

また、高速な画像からビデオへの生成もサポートしています。詳細は以下を参照してください。

AnimateLCM-SVD-xt と AnimateLCM-I2V

詳細については、以下のリンクを参照してください。 [論文] | [コード] | [プロジェクトページ] | [civitai]

🚀 クイックスタート

💻 使用例

基本的な使用法

import torch
from diffusers import AnimateDiffPipeline, LCMScheduler, MotionAdapter
from diffusers.utils import export_to_gif

adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM", torch_dtype=torch.float16)
pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=adapter, torch_dtype=torch.float16)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")

pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="AnimateLCM_sd15_t2v_lora.safetensors", adapter_name="lcm-lora")
pipe.set_adapters(["lcm-lora"], [0.8])

pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt="A space rocket with trails of smoke behind it launching into space from the desert, 4k, high resolution",
    negative_prompt="bad quality, worse quality, low resolution",
    num_frames=16,
    guidance_scale=2.0,
    num_inference_steps=6,
    generator=torch.Generator("cpu").manual_seed(0),
)
frames = output.frames[0]
export_to_gif(frames, "animatelcm.gif")