Origami WanLora

🚀 折り紙スタイルのWanVideo2.1用LoRA

このLoRAモデルは、折り紙スタイルのテキスト・ツー・ビデオ生成に特化しています。特定のトリガーワードを使用することで、折り紙スタイルのビデオを生成できます。

🚀 クイックスタート

トリガーワード

ビデオ生成をトリガーするには、origami を使用する必要があります。

Diffusersを使用した実行方法

まず、必要なライブラリをインストールします。

pip install git+https://github.com/huggingface/diffusers.git

次に、以下のコードを実行して折り紙スタイルのビデオを生成します。

import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler

# 利用可能なモデル: Wan-AI/Wan2.1-T2V-14B-Diffusers, Wan-AI/Wan2.1-T2V-1.3B-Diffusers
model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", torch_dtype=torch.float32)
pipe = WanPipeline.from_pretrained(model_id, vae=vae, torch_dtype=torch.bfloat16)
flow_shift = 5.0  # 720Pの場合は5.0、480Pの場合は3.0
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
pipe.to("cuda")

pipe.load_lora_weights("shauray/Origami_WanLora")

pipe.enable_model_cpu_offload() #低VRAM環境用

prompt = "origami style bull charging towards a man"

output = pipe(
    prompt=prompt,
    height=480,
    width=720,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

モデルのダウンロード

このモデルの重みはSafetensors形式で利用可能です。 ダウンロード は、「Files & versions」タブから行えます。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。