Cogvideox Disney Adamw 4000 0.0003 Constant

🚀 CogVideoX LoRA Finetune

このモデルは、テキストを入力として動画を生成するモデルです。CogVideoXモデル THUDM/CogVideoX-5b のLoRA微調整版で、Disney-VideoGeneration-Datasetを使用して訓練されています。

📦 モデル情報

🚀 クイックスタート

このモデルは、CogVideoX Factory を使用して訓練されました。このリポジトリには、TorchAO と DeepSpeed を用いたCogVideoXモデルファミリーのメモリ最適化された訓練スクリプトが含まれています。スクリプトは CogVideoX Diffusers trainer から採用されています。

モデルのダウンロード

LoRAのダウンロード は、Files & Versionsタブから行えます。

💻 使用例

基本的な使用法

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

pipe = CogVideoXPipeline.from_pretrained("THUDM/CogVideoX-5b", torch_dtype=torch.bfloat16).to("cuda")
pipe.load_lora_weights("a-r-r-o-w/cogvideox-disney-adamw-4000-0.0003-constant", weight_name="pytorch_lora_weights.safetensors", adapter_name="cogvideox-lora")

# The LoRA adapter weights are determined by what was used for training.
# In this case, we assume `--lora_alpha` is 32 and `--rank` is 64.
# It can be made lower or higher from what was used in training to decrease or amplify the effect
# of the LoRA upto a tolerance, beyond which one might notice no effect at all or overflows.
pipe.set_adapters(["cogvideox-lora"], [32 / 64])

video = pipe("BW_STYLE A black and white animated scene unfolds with an anthropomorphic goat surrounded by musical notes and symbols, suggesting a playful environment. Mickey Mouse appears, leaning forward in curiosity as the goat remains still. The goat then engages with Mickey, who bends down to converse or react. The dynamics shift as Mickey grabs the goat, potentially in surprise or playfulness, amidst a minimalistic background. The scene captures the evolving relationship between the two characters in a whimsical, animated setting, emphasizing their interactions and emotions", guidance_scale=6, use_dynamic_cfg=True).frames[0]
export_to_video(video, "output.mp4", fps=8)

LoRAの重み付け、マージ、融合などの詳細については、DiffusersのLoRA読み込みに関するドキュメント を参照してください。

📄 ライセンス

このモデルの使用に際しては、こちら と こちら に記載されているライセンス条項に従ってください。