Origami WanLora

🚀 萬視頻2.1摺紙LoRA模型

本項目是用於萬視頻2.1的摺紙LoRA模型，可實現文本到視頻的轉換，通過特定觸發詞和配置，能生成具有摺紙風格的視頻。

🚀 快速開始

觸發詞

你需要使用 origami 來觸發視頻生成。

使用Diffusers庫

pip install git+https://github.com/huggingface/diffusers.git

import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler

# 可用模型: Wan-AI/Wan2.1-T2V-14B-Diffusers, Wan-AI/Wan2.1-T2V-1.3B-Diffusers
model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", torch_dtype=torch.float32)
pipe = WanPipeline.from_pretrained(model_id, vae=vae, torch_dtype=torch.bfloat16)
flow_shift = 5.0  # 720P分辨率使用5.0，480P分辨率使用3.0
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
pipe.to("cuda")

pipe.load_lora_weights("shauray/Origami_WanLora")

pipe.enable_model_cpu_offload() # 適用於低顯存環境

prompt = "origami style bull charging towards a man"

output = pipe(
    prompt=prompt,
    height=480,
    width=720,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

下載模型

該模型的權重以Safetensors格式提供。

你可以在 文件與版本 選項卡中下載。

📄 許可證

本項目採用Apache 2.0許可證。

注意事項

⚠️ 重要提示

這個LoRA模型並不完美，每次生成的視頻底部可能會有一些小瑕疵，因為數據集存在這些問題（數據清理沒做好）。