🚀 CogVideoX LoRA - BelGio13/cogvideoX-I2V-locobot
这是用于图像到视频转换的CogVideoX LoRA模型,能够基于输入图像生成高质量的视频。
🚀 快速开始
你可以按照以下步骤使用该模型:
- 下载模型的
*.safetensors LoRA
文件,可在 Files & versions 标签页 进行下载。
- 使用以下代码示例,结合 🧨 diffusers 库 来运行模型。
import torch
from diffusers import CogVideoXImageToVideoPipeline
from diffusers.utils import load_image, export_to_video
pipe = CogVideoXImageToVideoPipeline.from_pretrained("THUDM/CogVideoX-5b-I2V", torch_dtype=torch.bfloat16).to("cuda")
pipe.load_lora_weights("BelGio13/cogvideoX-I2V-locobot", weight_name="pytorch_lora_weights.safetensors", adapter_name="cogvideox-i2v-lora")
pipe.set_adapters("cogvideox-i2v-lora", [32 / 64])
image = load_image("/path/to/image")
video = pipe(image=image, "", guidance_scale=6, use_dynamic_cfg=True).frames[0]
export_to_video(video, "output.mp4", fps=8)
更多细节,包括 LoRA 的加权、合并和融合等操作,请查看 diffusers 中加载 LoRA 的文档。
✨ 主要特性
- 这些是
BelGio13/cogvideoX-I2V-locobot
的 LoRA 权重,适用于 THUDM/CogVideoX-5b-I2V
基础模型。
- 权重使用 CogVideoX Diffusers 训练器 进行训练。
- 文本编码器未启用 LoRA。
📦 安装指南
暂未提供具体安装步骤,可参考上述快速开始部分结合 diffusers 库使用。
💻 使用示例
基础用法
import torch
from diffusers import CogVideoXImageToVideoPipeline
from diffusers.utils import load_image, export_to_video
pipe = CogVideoXImageToVideoPipeline.from_pretrained("THUDM/CogVideoX-5b-I2V", torch_dtype=torch.bfloat16).to("cuda")
pipe.load_lora_weights("BelGio13/cogvideoX-I2V-locobot", weight_name="pytorch_lora_weights.safetensors", adapter_name="cogvideox-i2v-lora")
pipe.set_adapters("cogvideox-i2v-lora", [32 / 64])
image = load_image("/path/to/image")
video = pipe(image=image, "", guidance_scale=6, use_dynamic_cfg=True).frames[0]
export_to_video(video, "output.mp4", fps=8)
高级用法
暂未提供高级用法示例。
📚 详细文档
模型描述
这些是 BelGio13/cogvideoX-I2V-locobot
的 LoRA 权重,用于 THUDM/CogVideoX-5b-I2V
模型。权重使用 CogVideoX Diffusers 训练器 进行训练,且文本编码器未启用 LoRA。
预期用途与限制
如何使用
限制和偏差
[TODO: provide examples of latent issues and potential remediations]
训练细节
[TODO: describe the data used to train the model]
📄 许可证
请遵守 此处 描述的许可条款。
📦 模型信息
属性 |
详情 |
基础模型 |
THUDM/CogVideoX-5b-I2V |
库名称 |
diffusers |
许可证 |
other |
实例提示词 |
Realistic motion, smooth, complete, high resolution |
标签 |
image-to-video, diffusers-training, diffusers, lora, cogvideox, cogvideox-diffusers, template:sd-lora |