🚀 Wan 14B Cyberpunk Realistic (画像から動画変換)
このLoRAは、Wan2.1 14b動画生成モデル用のLoRAです。
DiffusersやComfyUIで使用でき、テキストから動画、画像から動画の両方のWan2.1モデルに対してロードすることができます。
Replicate上で、AIツールキット: https://replicate.com/ostris/wan-lora-trainer/train を使用してトレーニングされました。
✨ 主な機能
トリガーワード
動画生成をトリガーするには、CYB77
または "In the style of CYB77" を使用する必要があります。
LoRAの使用方法
Replicateには、速度とコストを最適化したWan2.1モデルのコレクションがあります。これらのモデルもこのLoRAと一緒に使用できます。
- https://replicate.com/collections/wan-video
- https://replicate.com/fofr/wan2.1-with-lora
📦 インストール
Replicateを使用したAPIでの実行
import replicate
input = {
"prompt": "CYB77",
"image": "https://replicate.delivery/xezq/4BGR8w4ELvJfcqIG4KIF0Kr82JxtfQCM2xVAIUieSeifmTZjC/output_frame.jpg",
"lora_url": "https://huggingface.co/fofr/wan-14b-cyberpunk-realistic/resolve/main/wan-14b-i2v-cyberpunk-realistic-lora.safetensors"
}
output = replicate.run(
"fofr/wan2.1-with-lora:f83b84064136a38415a3aff66c326f94c66859b8ad7a2cb432e2822774f07b08",
model="14b",
input=input
)
for index, item in enumerate(output):
with open(f"output_{index}.mp4", "wb") as file:
file.write(item.read())
Diffusersとの使用
pip install git+https://github.com/huggingface/diffusers.git
import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", torch_dtype=torch.float32)
pipe = WanPipeline.from_pretrained(model_id, vae=vae, torch_dtype=torch.bfloat16)
flow_shift = 3.0
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
pipe.to("cuda")
pipe.load_lora_weights("fofr/wan-14b-cyberpunk-realistic")
pipe.enable_model_cpu_offload()
prompt = "CYB77"
negative_prompt = "Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality, low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured, misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards"
output = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
height=480,
width=832,
num_frames=81,
guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)
🔧 技術詳細
- ステップ数: 5000
- 学習率: 0.0001
- LoRAランク: 32
📄 ライセンス
このプロジェクトは、Apache-2.0ライセンスの下で公開されています。
💡 コミュニティへの貢献
コミュニティタブを使用して、このLoRAを使って作成した動画を追加することができます。