Animatediff Lightning

🚀 AnimateDiff-Lightning

AnimateDiff-Lightning 是一款閃電般快速的文本到視頻生成模型，其視頻生成速度比原始的 AnimateDiff 快十倍以上。更多信息請參考我們的研究論文：AnimateDiff-Lightning: Cross-Model Diffusion Distillation。我們將該模型作為研究成果發佈。

🚀 快速開始

你可以通過以下方式快速體驗 AnimateDiff-Lightning：

• 試用我們的文本到視頻生成 演示。

✨ 主要特性

• 高速生成：比原始的 AnimateDiff 快十倍以上。
• 多步選擇：提供 1 步、2 步、4 步和 8 步的蒸餾模型。
• 適配多種基礎模型：與多種風格化的基礎模型配合使用效果更佳。
• 支持視頻到視頻生成：可實現視頻到視頻的轉換。

📦 安裝指南

本部分未提及具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

Diffusers 庫使用示例

import torch
from diffusers import AnimateDiffPipeline, MotionAdapter, EulerDiscreteScheduler
from diffusers.utils import export_to_gif
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file

device = "cuda"
dtype = torch.float16

step = 4  # Options: [1,2,4,8]
repo = "ByteDance/AnimateDiff-Lightning"
ckpt = f"animatediff_lightning_{step}step_diffusers.safetensors"
base = "emilianJR/epiCRealism"  # Choose to your favorite base model.

adapter = MotionAdapter().to(device, dtype)
adapter.load_state_dict(load_file(hf_hub_download(repo ,ckpt), device=device))
pipe = AnimateDiffPipeline.from_pretrained(base, motion_adapter=adapter, torch_dtype=dtype).to(device)
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing", beta_schedule="linear")

output = pipe(prompt="A girl smiling", guidance_scale=1.0, num_inference_steps=step)
export_to_gif(output.frames[0], "animation.gif")

ComfyUI 使用示例

1. 下載 animatediff_lightning_workflow.json 並在 ComfyUI 中導入。
2. 安裝節點。你可以手動安裝，也可以使用 ComfyUI-Manager。
   • ComfyUI-AnimateDiff-Evolved
   • ComfyUI-VideoHelperSuite
3. 下載你喜歡的基礎模型檢查點，並將其放在 /models/checkpoints/ 目錄下。
4. 下載 AnimateDiff-Lightning 檢查點 animatediff_lightning_Nstep_comfyui.safetensors 並將其放在 /custom_nodes/ComfyUI-AnimateDiff-Evolved/models/ 目錄下。

高級用法

視頻到視頻生成示例

AnimateDiff-Lightning 非常適合視頻到視頻的生成。我們提供了使用 ControlNet 的最簡單的 ComfyUI 工作流。

1. 下載 animatediff_lightning_v2v_openpose_workflow.json 並在 ComfyUI 中導入。
2. 安裝節點。你可以手動安裝，也可以使用 ComfyUI-Manager。
   • ComfyUI-AnimateDiff-Evolved
   • ComfyUI-VideoHelperSuite
   • ComfyUI-Advanced-ControlNet
   • comfyui_controlnet_aux
3. 下載你喜歡的基礎模型檢查點，並將其放在 /models/checkpoints/ 目錄下。
4. 下載 AnimateDiff-Lightning 檢查點 animatediff_lightning_Nstep_comfyui.safetensors 並將其放在 /custom_nodes/ComfyUI-AnimateDiff-Evolved/models/ 目錄下。
5. 下載 ControlNet OpenPose control_v11p_sd15_openpose.pth 檢查點到 /models/controlnet/ 目錄下。
6. 上傳你的視頻並運行管道。

額外注意事項：

1. 視頻不宜過長或分辨率過高。我們使用 576x1024、8 秒、30fps 的視頻進行測試。
2. 設置幀率以匹配輸入視頻，這樣可以使音頻與輸出視頻匹配。
3. DWPose 在首次運行時會自行下載檢查點。
4. DWPose 可能會在 UI 中卡住，但實際上管道仍在後臺運行。請檢查 ComfyUI 日誌和輸出文件夾。

📚 詳細文檔

推薦基礎模型

AnimateDiff-Lightning 與風格化的基礎模型配合使用時效果最佳。我們推薦使用以下基礎模型：

寫實風格

• epiCRealism
• Realistic Vision
• DreamShaper
• AbsoluteReality
• MajicMix Realistic

動漫與卡通風格

• ToonYou
• IMP
• Mistoon Anime
• DynaVision
• RCNZ Cartoon 3d
• MajicMix Reverie

使用建議

• 你可以自由探索不同的設置。我們發現對 2 步模型使用 3 次推理步驟會產生很好的效果。
• 某些基礎模型在使用 CFG 時效果更好。
• 我們還建議使用 Motion LoRAs，因為它們可以產生更強的動態效果。我們使用強度為 0.7 - 0.8 的 Motion LoRAs 來避免水印。

📄 許可證

本項目採用 creativeml-openrail-m 許可證。

📚 引用我們的工作

如果你使用了本項目的相關內容，請引用以下論文：

@misc{lin2024animatedifflightning,
      title={AnimateDiff-Lightning: Cross-Model Diffusion Distillation}, 
      author={Shanchuan Lin and Xiao Yang},
      year={2024},
      eprint={2403.12706},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}