Qwenfluxprompt

✨ 主な機能

これは、Wan2.1 14bビデオ生成モデル用のLoRAです。 DiffusersまたはComfyUIとともに使用でき、テキストからビデオおよび画像からビデオの両方のWan2.1モデルに対してロードできます。 Replicate上で、AIツールキット（https://replicate.com/ostris/wan-lora-trainer/train）を使用してトレーニングされました。

📦 インストール

Diffusersを使用する場合

pip install git+https://github.com/huggingface/diffusers.git

💻 使用例

基本的な使用法

Replicateを使用してAPIでこのLoRAを実行する

import replicate

input = {
    "prompt": "COLTOK",
    "lora_url": "https://huggingface.co/mam33/qwenfluxprompt/resolve/main/wan2.1-14b-coltok-lora.safetensors"
}

output = replicate.run(
    "fofr/wan2.1-with-lora:f83b84064136a38415a3aff66c326f94c66859b8ad7a2cb432e2822774f07b08",
    model="14b",
    input=input
)
for index, item in enumerate(output):
    with open(f"output_{index}.mp4", "wb") as file:
        file.write(item.read())

Diffusersを使用する場合

import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler

model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", torch_dtype=torch.float32)
pipe = WanPipeline.from_pretrained(model_id, vae=vae, torch_dtype=torch.bfloat16)
flow_shift = 3.0  # 5.0 for 720P, 3.0 for 480P
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config, flow_shift=flow_shift)
pipe.to("cuda")

pipe.load_lora_weights("mam33/qwenfluxprompt")

pipe.enable_model_cpu_offload() #for low-vram environments

prompt = "COLTOK"
negative_prompt = "Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality, low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured, misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards"

output = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=480,
    width=832,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

🔧 技術詳細

• ステップ数: 2000
• 学習率: 0.0001
• LoRAランク: 32

📚 ドキュメント

トリガーワード

ビデオ生成をトリガーするには、COLTOKを使用する必要があります。

Replicateの最適化モデル

Replicateには、速度とコストを最適化したWan2.1モデルのコレクションがあり、このLoRAとともに使用することができます。

• https://replicate.com/collections/wan-video
• https://replicate.com/fofr/wan2.1-with-lora

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

🤝 コミュニティ貢献

コミュニティタブを使用して、このLoRAを使って作成したビデオを追加することができます。