Zlikwidcogvideoxlora

🚀 CogVideoX LoRA - Zlikwid/ZlikwidCogVideoXLoRa

CogVideoX LoRA是针对THUDM/CogVideoX - 2b的低秩自适应（LoRA）权重，可用于文本到视频的生成任务，借助diffusers库能方便地使用和训练。

🚀 快速开始

你可以按照以下步骤快速使用CogVideoX LoRA：

1. 从指定位置下载模型的.safetensors LoRA文件。
2. 使用diffusers库加载模型和LoRA权重。
3. 进行视频生成。

from diffusers import CogVideoXPipeline
import torch

pipe = CogVideoXPipeline.from_pretrained("THUDM/CogVideoX-5b", torch_dtype=torch.bfloat16).to("cuda")
pipe.load_lora_weights("Zlikwid/ZlikwidCogVideoXLoRa", weight_name="pytorch_lora_weights.safetensors", adapter_name=["cogvideox-lora"])

# The LoRA adapter weights are determined by what was used for training.
# In this case, we assume `--lora_alpha` is 32 and `--rank` is 64.
# It can be made lower or higher from what was used in training to decrease or amplify the effect
# of the LoRA upto a tolerance, beyond which one might notice no effect at all or overflows.
pipe.set_adapters(["cogvideox-lora"], [32 / 64])

video = pipe("None", guidance_scale=6, use_dynamic_cfg=True).frames[0]

更多详细信息，包括权重设置、合并和融合LoRA等内容，请查看 diffusers中加载LoRA的文档。

✨ 主要特性

• 这些是针对THUDM/CogVideoX - 2b的Zlikwid/ZlikwidCogVideoXLoRa LoRA权重。
• 使用 CogVideoX Diffusers训练器 进行训练。
• 文本编码器未启用LoRA。

📦 安装指南

在Files & versions标签中下载 *.safetensors LoRA。

💻 使用示例

基础用法

from diffusers import CogVideoXPipeline
import torch

pipe = CogVideoXPipeline.from_pretrained("THUDM/CogVideoX-5b", torch_dtype=torch.bfloat16).to("cuda")
pipe.load_lora_weights("Zlikwid/ZlikwidCogVideoXLoRa", weight_name="pytorch_lora_weights.safetensors", adapter_name=["cogvideox-lora"])
pipe.set_adapters(["cogvideox-lora"], [32 / 64])
video = pipe("None", guidance_scale=6, use_dynamic_cfg=True).frames[0]

高级用法

目前文档未提供高级用法示例，你可以参考 diffusers中加载LoRA的文档 进行更复杂的操作。

📚 详细文档

模型描述

这些是针对THUDM/CogVideoX - 2b的Zlikwid/ZlikwidCogVideoXLoRa LoRA权重，使用 CogVideoX Diffusers训练器 进行训练，文本编码器未启用LoRA。

预期用途和限制

如何使用

# TODO: add an example code snippet for running this diffusion pipeline

限制和偏差

[TODO: provide examples of latent issues and potential remediations]

训练细节

[TODO: describe the data used to train the model]

📄 许可证

请遵守 此处 和 此处 描述的许可条款。

📋 信息表格