Animatediff Motion Adapter V1 5 3

🚀 動畫擴散器（AnimateDiff）

AnimateDiff 是一種利用現有的穩定擴散文本到圖像模型來創建視頻的方法。它通過將運動模塊層插入到凍結的文本到圖像模型中，並在視頻片段上進行訓練以提取運動先驗，從而實現視頻生成。

🚀 快速開始

AnimateDiff 允許你利用現有的穩定擴散文本到圖像模型創建視頻。它通過在凍結的文本到圖像模型中插入運動模塊層，並在視頻片段上進行訓練以提取運動先驗。這些運動模塊被應用於穩定擴散 UNet 中的殘差網絡（ResNet）和注意力塊之後，旨在引入跨圖像幀的連貫運動。為了支持這些模塊，我們引入了 MotionAdapter 和 UNetMotionModel 的概念，它們為在現有穩定擴散模型中使用這些運動模塊提供了便利。

✨ 主要特性

• 利用現有模型：藉助已有的穩定擴散文本到圖像模型生成視頻。
• 運動模塊：通過插入運動模塊層，在圖像幀之間引入連貫運動。
• 方便集成：引入 MotionAdapter 和 UNetMotionModel，便於與現有穩定擴散模型集成。

💻 使用示例

基礎用法

import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, EulerAncestralDiscreteScheduler
from diffusers.utils import export_to_gif

# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-3")
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter)
scheduler = EulerAncestralDiscreteScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    beta_schedule="linear",
)
pipe.scheduler = scheduler

# enable memory savings
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
        "orange sky, warm lighting, fishing boats, ocean waves seagulls, "
        "rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
        "golden hour, coastal landscape, seaside scenery"
    ),
    negative_prompt="bad quality, worse quality",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

示例效果

示例	效果
提示詞：masterpiece, bestquality, sunset.