Animatediff Motion Adapter Sdxl V1 0 Beta

🚀 AnimateDiff項目

AnimateDiff是一種允許你使用現有的Stable Diffusion文本到圖像模型來創建視頻的方法。

🚀 快速開始

模型轉換

將 https://huggingface.co/guoyww/animatediff/blob/main/mm_sdxl_v10_beta.ckpt 轉換為Huggingface Diffusers格式，使用基於Diffuser的轉換腳本（可在 https://github.com/huggingface/diffusers/blob/main/scripts/convert_animatediff_motion_module_to_diffusers.py 找到）。

import argparse

import torch

from diffusers import MotionAdapter


def convert_motion_module(original_state_dict):
    converted_state_dict = {}
    for k, v in original_state_dict.items():
        if "pos_encoder" in k:
            continue

        else:
            converted_state_dict[
                k.replace(".norms.0", ".norm1")
                .replace(".norms.1", ".norm2")
                .replace(".ff_norm", ".norm3")
                .replace(".attention_blocks.0", ".attn1")
                .replace(".attention_blocks.1", ".attn2")
                .replace(".temporal_transformer", "")
            ] = v

    return converted_state_dict


def get_args():
    parser = argparse.ArgumentParser()
    parser.add_argument("--ckpt_path", type=str, required=True)
    parser.add_argument("--output_path", type=str, required=True)
    parser.add_argument("--use_motion_mid_block", action="store_true")
    parser.add_argument("--motion_max_seq_length", type=int, default=32)
    parser.add_argument("--save_fp16", action="store_true")

    return parser.parse_args()


if __name__ == "__main__":
    args = get_args()

    state_dict = torch.load(args.ckpt_path, map_location="cpu")
    if "state_dict" in state_dict.keys():
        state_dict = state_dict["state_dict"]

    conv_state_dict = convert_motion_module(state_dict)
    adapter = MotionAdapter(
        use_motion_mid_block=False,
        motion_max_seq_length=32,
        block_out_channels=(320, 640, 1280),
    )
    # skip loading position embeddings
    adapter.load_state_dict(conv_state_dict, strict=False)
    adapter.save_pretrained(args.output_path)

    if args.save_fp16:
        adapter.to(torch.float16).save_pretrained(args.output_path, variant="fp16")
        

使用示例

下面的示例展示瞭如何將運動模塊與現有的Stable Diffusion文本到圖像模型結合使用。

💻 使用示例

基礎用法

# 這裡的代碼是用於展示如何結合運動模塊與現有模型，保持原始代碼和註釋不變
# 以下代碼展示瞭如何將運動模塊與現有的Stable Diffusion文本到圖像模型結合使用
import argparse

import torch

from diffusers import MotionAdapter


def convert_motion_module(original_state_dict):
    converted_state_dict = {}
    for k, v in original_state_dict.items():
        if "pos_encoder" in k:
            continue

        else:
            converted_state_dict[
                k.replace(".norms.0", ".norm1")
                .replace(".norms.1", ".norm2")
                .replace(".ff_norm", ".norm3")
                .replace(".attention_blocks.0", ".attn1")
                .replace(".attention_blocks.1", ".attn2")
                .replace(".temporal_transformer", "")
            ] = v

    return converted_state_dict


def get_args():
    parser = argparse.ArgumentParser()
    parser.add_argument("--ckpt_path", type=str, required=True)
    parser.add_argument("--output_path", type=str, required=True)
    parser.add_argument("--use_motion_mid_block", action="store_true")
    parser.add_argument("--motion_max_seq_length", type=int, default=32)
    parser.add_argument("--save_fp16", action="store_true")

    return parser.parse_args()


if __name__ == "__main__":
    args = get_args()

    state_dict = torch.load(args.ckpt_path, map_location="cpu")
    if "state_dict" in state_dict.keys():
        state_dict = state_dict["state_dict"]

    conv_state_dict = convert_motion_module(state_dict)
    adapter = MotionAdapter(
        use_motion_mid_block=False,
        motion_max_seq_length=32,
        block_out_channels=(320, 640, 1280),
    )
    # skip loading position embeddings
    adapter.load_state_dict(conv_state_dict, strict=False)
    adapter.save_pretrained(args.output_path)

    if args.save_fp16:
        adapter.to(torch.float16).save_pretrained(args.output_path, variant="fp16")
        

高級用法

# 由於原文檔未提供高級用法說明，這裡暫時沒有額外的高級場景說明
# 可根據實際情況補充如何在更復雜場景下使用該模型和運動模塊