Animatediff Motion Adapter V1 5 2

🚀 AnimateDiff

AnimateDiffは、既存のStable Diffusion Text to Imageモデルを使用して動画を作成することを可能にする手法です。既存の画像生成モデルに動きモジュール層を挿入し、動画クリップで学習することで、動きの事前知識を抽出します。これらの動きモジュールは、Stable Diffusion UNetのResNetとAttentionブロックの後に適用され、画像フレーム間に一貫した動きを導入することを目的としています。これらのモジュールをサポートするために、MotionAdapterとUNetMotionModelの概念を導入しています。これらは、既存のStable Diffusionモデルでこれらの動きモジュールを簡単に使用するための方法として機能します。

🚀 クイックスタート

AnimateDiffは、既存のStable Diffusion Text to Imageモデルを使用して動画を作成することができます。以下に、既存のStable Diffusionモデルで動きモジュールを利用する方法の例を示します。

実行例

import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, DDIMScheduler
from diffusers.utils import export_to_gif

# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2")
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter)
scheduler = DDIMScheduler.from_pretrained(
    model_id, subfolder="scheduler", clip_sample=False, timestep_spacing="linspace", steps_offset=1
)
pipe.scheduler = scheduler

# enable memory savings
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
        "orange sky, warm lighting, fishing boats, ocean waves seagulls, "
        "rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
        "golden hour, coastal landscape, seaside scenery"
    ),
    negative_prompt="bad quality, worse quality",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

実行結果

masterpiece, bestquality, sunset.

💡 使用例

基本的な使用法

上記のコードは、AnimateDiffを使用して動画を生成する基本的な例です。既存のStable Diffusionモデルと動きアダプターを読み込み、動画を生成してGIFファイルにエクスポートします。

高度な使用法

AnimateDiffは、微調整されたStable Diffusionモデルでより良い結果が得られる傾向があります。サンプルをクリップできるスケジューラを使用する場合は、clip_sample=Falseに設定して無効にすることを確認してください。これは、生成されたサンプルに悪影響を与える可能性があります。

⚠️ 重要提示

AnimateDiffは、微調整されたStable Diffusionモデルでより良い結果が得られる傾向があります。サンプルをクリップできるスケジューラを使用する場合は、clip_sample=Falseに設定して無効にすることを確認してください。これは、生成されたサンプルに悪影響を与える可能性があります。