Animatediff Lightning

🚀 AnimateDiff-Lightning

AnimateDiff-Lightningは、超高速なテキストから動画を生成するモデルです。元のAnimateDiffよりも10倍以上高速に動画を生成することができます。詳細については、当社の研究論文 AnimateDiff-Lightning: Cross-Model Diffusion Distillation をご参照ください。本モデルは研究の一環として公開しています。

🚀 クイックスタート

AnimateDiff-Lightningは、高速なテキストから動画を生成するモデルで、元のAnimateDiffよりも大幅に高速に動画を生成できます。以下に、使用方法や推奨設定などの詳細を説明します。

✨ 主な機能

• テキストから動画を生成する機能
• 元のAnimateDiffよりも10倍以上高速な動画生成
• 様々なスタイルのベースモデルとの互換性
• 動画から動画を生成する機能

📦 インストール

本モデルの使用には、必要なライブラリのインストールが必要です。以下のセクションでは、DiffusersとComfyUIでの使用方法を説明します。

💻 使用例

基本的な使用法

Diffusersを使用した場合

import torch
from diffusers import AnimateDiffPipeline, MotionAdapter, EulerDiscreteScheduler
from diffusers.utils import export_to_gif
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file

device = "cuda"
dtype = torch.float16

step = 4  # Options: [1,2,4,8]
repo = "ByteDance/AnimateDiff-Lightning"
ckpt = f"animatediff_lightning_{step}step_diffusers.safetensors"
base = "emilianJR/epiCRealism"  # Choose to your favorite base model.

adapter = MotionAdapter().to(device, dtype)
adapter.load_state_dict(load_file(hf_hub_download(repo ,ckpt), device=device))
pipe = AnimateDiffPipeline.from_pretrained(base, motion_adapter=adapter, torch_dtype=dtype).to(device)
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing", beta_schedule="linear")

output = pipe(prompt="A girl smiling", guidance_scale=1.0, num_inference_steps=step)
export_to_gif(output.frames[0], "animation.gif")

ComfyUIを使用した場合

1. animatediff_lightning_workflow.json をダウンロードし、ComfyUIにインポートします。
2. ノードをインストールします。手動でインストールするか、ComfyUI-Manager を使用することができます。
   • ComfyUI-AnimateDiff-Evolved
   • ComfyUI-VideoHelperSuite
3. 好みのベースモデルのチェックポイントをダウンロードし、/models/checkpoints/ 以下に配置します。
4. AnimateDiff-Lightningのチェックポイント animatediff_lightning_Nstep_comfyui.safetensors をダウンロードし、/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/ 以下に配置します。

高度な使用法

動画から動画を生成する場合

AnimateDiff-Lightningは、動画から動画を生成するのにも優れています。以下は、ControlNetを使用したComfyUIのワークフローです。

1. animatediff_lightning_v2v_openpose_workflow.json をダウンロードし、ComfyUIにインポートします。
2. ノードをインストールします。手動でインストールするか、ComfyUI-Manager を使用することができます。
   • ComfyUI-AnimateDiff-Evolved
   • ComfyUI-VideoHelperSuite
   • ComfyUI-Advanced-ControlNet
   • comfyui_controlnet_aux
3. 好みのベースモデルのチェックポイントをダウンロードし、/models/checkpoints/ 以下に配置します。
4. AnimateDiff-Lightningのチェックポイント animatediff_lightning_Nstep_comfyui.safetensors をダウンロードし、/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/ 以下に配置します。
5. ControlNet OpenPose の control_v11p_sd15_openpose.pth チェックポイントを /models/controlnet/ にダウンロードします。
6. 動画をアップロードし、パイプラインを実行します。

追加の注意事項:

1. 動画はあまり長くないか、解像度が高くないようにしてください。テストでは、576x1024、8秒、30fpsの動画を使用しています。
2. フレームレートを入力動画に合わせて設定してください。これにより、出力動画の音声が一致します。
3. DWPoseは初回実行時に自動的にチェックポイントをダウンロードします。
4. DWPoseはUIで固まることがありますが、実際にはパイプラインはバックグラウンドで実行されています。ComfyUIのログと出力フォルダを確認してください。

📚 ドキュメント

デモ

AnimateDiff-Lightningのテキストから動画を生成する デモ を試してみてください。

推奨設定

AnimateDiff-Lightningは、スタイル化されたベースモデルと一緒に使用すると最良の結果が得られます。以下のベースモデルをお勧めします。

リアリスティックなスタイル

• epiCRealism
• Realistic Vision
• DreamShaper
• AbsoluteReality
• MajicMix Realistic

アニメ＆カートゥーンスタイル

• ToonYou
• IMP
• Mistoon Anime
• DynaVision
• RCNZ Cartoon 3d
• MajicMix Reverie

さらに、様々な設定を試してみることをお勧めします。2ステップモデルで3回の推論ステップを使用すると、素晴らしい結果が得られることがわかっています。また、特定のベースモデルではCFGを使用するとより良い結果が得られます。Motion LoRAs を使用することもお勧めします。これにより、より強力なモーションが生成されます。ウォーターマークを避けるために、強度0.7～0.8のMotion LoRAsを使用しています。

📄 ライセンス

本モデルは、CreativeML OpenRAIL-Mライセンスの下で公開されています。

📚 引用

@misc{lin2024animatedifflightning,
      title={AnimateDiff-Lightning: Cross-Model Diffusion Distillation}, 
      author={Shanchuan Lin and Xiao Yang},
      year={2024},
      eprint={2403.12706},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

📋 モデル情報