Animatediff Motion Adapter V1 5 3

🚀 动画扩散器（AnimateDiff）

AnimateDiff 是一种利用现有的稳定扩散文本到图像模型来创建视频的方法。它通过将运动模块层插入到冻结的文本到图像模型中，并在视频片段上进行训练以提取运动先验，从而实现视频生成。

🚀 快速开始

AnimateDiff 允许你利用现有的稳定扩散文本到图像模型创建视频。它通过在冻结的文本到图像模型中插入运动模块层，并在视频片段上进行训练以提取运动先验。这些运动模块被应用于稳定扩散 UNet 中的残差网络（ResNet）和注意力块之后，旨在引入跨图像帧的连贯运动。为了支持这些模块，我们引入了 MotionAdapter 和 UNetMotionModel 的概念，它们为在现有稳定扩散模型中使用这些运动模块提供了便利。

✨ 主要特性

• 利用现有模型：借助已有的稳定扩散文本到图像模型生成视频。
• 运动模块：通过插入运动模块层，在图像帧之间引入连贯运动。
• 方便集成：引入 MotionAdapter 和 UNetMotionModel，便于与现有稳定扩散模型集成。

💻 使用示例

基础用法

import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, EulerAncestralDiscreteScheduler
from diffusers.utils import export_to_gif

# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-3")
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter)
scheduler = EulerAncestralDiscreteScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    beta_schedule="linear",
)
pipe.scheduler = scheduler

# enable memory savings
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
        "orange sky, warm lighting, fishing boats, ocean waves seagulls, "
        "rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
        "golden hour, coastal landscape, seaside scenery"
    ),
    negative_prompt="bad quality, worse quality",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

示例效果

示例	效果
提示词：masterpiece, bestquality, sunset.