Wan 14b Cyberpunk Realistic

🚀 Wan 14B Cyberpunk Realistic (画像から動画変換)

このLoRAは、Wan2.1 14b動画生成モデル用のLoRAです。 DiffusersやComfyUIで使用でき、テキストから動画、画像から動画の両方のWan2.1モデルに対してロードすることができます。 Replicate上で、AIツールキット: https://replicate.com/ostris/wan-lora-trainer/train を使用してトレーニングされました。

✨ 主な機能

トリガーワード

動画生成をトリガーするには、CYB77 または "In the style of CYB77" を使用する必要があります。

LoRAの使用方法

Replicateには、速度とコストを最適化したWan2.1モデルのコレクションがあります。これらのモデルもこのLoRAと一緒に使用できます。

• https://replicate.com/collections/wan-video
• https://replicate.com/fofr/wan2.1-with-lora

📦 インストール

Replicateを使用したAPIでの実行

import replicate

input = {
    "prompt": "CYB77",
    "image": "https://replicate.delivery/xezq/4BGR8w4ELvJfcqIG4KIF0Kr82JxtfQCM2xVAIUieSeifmTZjC/output_frame.jpg",
    "lora_url": "https://huggingface.co/fofr/wan-14b-cyberpunk-realistic/resolve/main/wan-14b-i2v-cyberpunk-realistic-lora.safetensors"
}

output = replicate.run(
    "fofr/wan2.1-with-lora:f83b84064136a38415a3aff66c326f94c66859b8ad7a2cb432e2822774f07b08",
    model="14b",
    input=input
)
for index, item in enumerate(output):
    with open(f"output_{index}.mp4", "wb") as file:
        file.write(item.read())

Diffusersとの使用

pip install git+https://github.com/huggingface/diffusers.git

import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler

model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", torch_dtype=torch.float32)
pipe = WanPipeline.from_pretrained(model_id, vae=vae, torch_dtype=torch.bfloat16)
flow_shift = 3.0  # 5.0 for 720P, 3.0 for 480P
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
pipe.to("cuda")

pipe.load_lora_weights("fofr/wan-14b-cyberpunk-realistic")

pipe.enable_model_cpu_offload() #for low-vram environments

prompt = "CYB77"
negative_prompt = "Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality, low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured, misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards"

output = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=480,
    width=832,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

🔧 技術詳細

• ステップ数: 5000
• 学習率: 0.0001
• LoRAランク: 32

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

💡 コミュニティへの貢献

コミュニティタブを使用して、このLoRAを使って作成した動画を追加することができます。