🚀 CogVideoX LoRA - BelGio13/cogvideoX-I2V-locobot
這是用於圖像到視頻轉換的CogVideoX LoRA模型,能夠基於輸入圖像生成高質量的視頻。
🚀 快速開始
你可以按照以下步驟使用該模型:
- 下載模型的
*.safetensors LoRA
文件,可在 Files & versions 標籤頁 進行下載。
- 使用以下代碼示例,結合 🧨 diffusers 庫 來運行模型。
import torch
from diffusers import CogVideoXImageToVideoPipeline
from diffusers.utils import load_image, export_to_video
pipe = CogVideoXImageToVideoPipeline.from_pretrained("THUDM/CogVideoX-5b-I2V", torch_dtype=torch.bfloat16).to("cuda")
pipe.load_lora_weights("BelGio13/cogvideoX-I2V-locobot", weight_name="pytorch_lora_weights.safetensors", adapter_name="cogvideox-i2v-lora")
pipe.set_adapters("cogvideox-i2v-lora", [32 / 64])
image = load_image("/path/to/image")
video = pipe(image=image, "", guidance_scale=6, use_dynamic_cfg=True).frames[0]
export_to_video(video, "output.mp4", fps=8)
更多細節,包括 LoRA 的加權、合併和融合等操作,請查看 diffusers 中加載 LoRA 的文檔。
✨ 主要特性
- 這些是
BelGio13/cogvideoX-I2V-locobot
的 LoRA 權重,適用於 THUDM/CogVideoX-5b-I2V
基礎模型。
- 權重使用 CogVideoX Diffusers 訓練器 進行訓練。
- 文本編碼器未啟用 LoRA。
📦 安裝指南
暫未提供具體安裝步驟,可參考上述快速開始部分結合 diffusers 庫使用。
💻 使用示例
基礎用法
import torch
from diffusers import CogVideoXImageToVideoPipeline
from diffusers.utils import load_image, export_to_video
pipe = CogVideoXImageToVideoPipeline.from_pretrained("THUDM/CogVideoX-5b-I2V", torch_dtype=torch.bfloat16).to("cuda")
pipe.load_lora_weights("BelGio13/cogvideoX-I2V-locobot", weight_name="pytorch_lora_weights.safetensors", adapter_name="cogvideox-i2v-lora")
pipe.set_adapters("cogvideox-i2v-lora", [32 / 64])
image = load_image("/path/to/image")
video = pipe(image=image, "", guidance_scale=6, use_dynamic_cfg=True).frames[0]
export_to_video(video, "output.mp4", fps=8)
高級用法
暫未提供高級用法示例。
📚 詳細文檔
模型描述
這些是 BelGio13/cogvideoX-I2V-locobot
的 LoRA 權重,用於 THUDM/CogVideoX-5b-I2V
模型。權重使用 CogVideoX Diffusers 訓練器 進行訓練,且文本編碼器未啟用 LoRA。
預期用途與限制
如何使用
限制和偏差
[TODO: provide examples of latent issues and potential remediations]
訓練細節
[TODO: describe the data used to train the model]
📄 許可證
請遵守 此處 描述的許可條款。
📦 模型信息
屬性 |
詳情 |
基礎模型 |
THUDM/CogVideoX-5b-I2V |
庫名稱 |
diffusers |
許可證 |
other |
實例提示詞 |
Realistic motion, smooth, complete, high resolution |
標籤 |
image-to-video, diffusers-training, diffusers, lora, cogvideox, cogvideox-diffusers, template:sd-lora |