Cogvideox1.5 5B I2V

🚀 CogVideoX1.5-5B-I2V

CogVideoX1.5-5B-I2V 是一个开源的视频生成模型，类似于 QingYing，可实现从图像到视频的转换。

📄 中文阅读 | 🤗 Huggingface Space | 🌐 Github | 📜 arxiv

📍 访问 清影 和 API 平台 体验商业视频生成模型

🚀 快速开始

这个模型支持使用 Hugging Face diffusers 库进行部署。你可以按照以下步骤开始使用。

我们建议你访问我们的 GitHub 查看提示优化和转换方法，以获得更好的体验。

安装所需依赖

# diffusers (从源代码安装)
# transformers>=4.46.2
# accelerate>=1.1.1
# imageio-ffmpeg>=0.5.1
pip install git+https://github.com/huggingface/diffusers
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg

运行代码

import torch
from diffusers import CogVideoXImageToVideoPipeline
from diffusers.utils import export_to_video, load_image

prompt = "A little girl is riding a bicycle at high speed. Focused, detailed, realistic."
image = load_image(image="input.jpg")
pipe = CogVideoXImageToVideoPipeline.from_pretrained(
    "THUDM/CogVideoX1.5-5B-I2V",
    torch_dtype=torch.bfloat16
)

pipe.enable_sequential_cpu_offload()
pipe.vae.enable_tiling()
pipe.vae.enable_slicing()

video = pipe(
    prompt=prompt,
    image=image,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=81,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

✨ 主要特性

CogVideoX 是一个类似于 QingYing 的开源视频生成模型。以下表格列出了此版本可用的视频生成模型的相关信息：

数据说明

• 使用 diffusers 库进行测试时，启用了库中包含的所有优化。此方案尚未在非 NVIDIA A100/H100 设备上进行测试，一般来说，它应该适用于所有 NVIDIA Ampere 架构或更高版本的设备。禁用优化会使显存使用量增加两倍，但速度会提高 3 - 4 倍。你可以选择性地禁用某些优化，包括：

pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

• 在多 GPU 推理中，需要禁用 enable_sequential_cpu_offload() 优化。
• 使用 INT8 模型会降低推理速度，在满足较低显存 GPU 要求的同时，视频质量的下降最小，但代价是速度显著降低。
• 可以使用 PytorchAO 和 Optimum-quanto 对文本编码器、Transformer 和 VAE 模块进行量化，从而降低 CogVideoX 的内存需求，使模型能够在显存较小的 GPU 上运行。TorchAO 量化与 torch.compile 完全兼容，可显著提高推理速度。NVIDIA H100 及以上设备需要 FP8 精度，这需要从源代码安装 torch、torchao、diffusers 和 accelerate。建议使用 CUDA 12.4。
• 推理速度测试也使用了上述显存优化，在不进行优化的情况下，速度大约提高 10%。只有 diffusers 版本的模型支持量化。
• 模型仅支持英文输入，在编写提示时，其他语言应使用更大的模型翻译成英文。

注意事项

• 使用 SAT 进行推理和微调 SAT 版本的模型。更多详细信息请查看我们的 GitHub。

💻 使用示例

基础用法

import torch
from diffusers import CogVideoXImageToVideoPipeline
from diffusers.utils import export_to_video, load_image

prompt = "A little girl is riding a bicycle at high speed. Focused, detailed, realistic."
image = load_image(image="input.jpg")
pipe = CogVideoXImageToVideoPipeline.from_pretrained(
    "THUDM/CogVideoX1.5-5B-I2V",
    torch_dtype=torch.bfloat16
)

pipe.enable_sequential_cpu_offload()
pipe.vae.enable_tiling()
pipe.vae.enable_slicing()

video = pipe(
    prompt=prompt,
    image=image,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=81,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

量化推理

# 首先，需要从 GitHub 源代码安装 PytorchAO 和 PyTorch Nightly。
# 在下一个版本发布之前，才需要从源代码和 Nightly 版本安装。

import torch
from diffusers import AutoencoderKLCogVideoX, CogVideoXTransformer3DModel, CogVideoXImageToVideoPipeline
from diffusers.utils import export_to_video, load_image
from transformers import T5EncoderModel
from torchao.quantization import quantize_, int8_weight_only

quantization = int8_weight_only

text_encoder = T5EncoderModel.from_pretrained("THUDM/CogVideoX1.5-5B-I2V", subfolder="text_encoder",
                                              torch_dtype=torch.bfloat16)
quantize_(text_encoder, quantization())

transformer = CogVideoXTransformer3DModel.from_pretrained("THUDM/CogVideoX1.5-5B-I2V", subfolder="transformer",
                                                          torch_dtype=torch.bfloat16)
quantize_(transformer, quantization())

vae = AutoencoderKLCogVideoX.from_pretrained("THUDM/CogVideoX1.5-5B-I2V", subfolder="vae", torch_dtype=torch.bfloat16)
quantize_(vae, quantization())

# 创建管道并运行推理
pipe = CogVideoXImageToVideoPipeline.from_pretrained(
    "THUDM/CogVideoX1.5-5B-I2V",
    text_encoder=text_encoder,
    transformer=transformer,
    vae=vae,
    torch_dtype=torch.bfloat16,
)

pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()
pipe.vae.enable_slicing()

prompt = "A little girl is riding a bicycle at high speed. Focused, detailed, realistic."
image = load_image(image="input.jpg")
video = pipe(
    prompt=prompt,
    image=image,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=81,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

此外，可以使用 PytorchAO 将这些模型序列化为量化数据类型并存储，以节省磁盘空间。你可以在以下链接找到示例和基准测试：

• torchao
• quanto

📚 详细文档

你可以随时访问我们的 GitHub，在那里你可以找到：

1. 更详细的技术解释和代码。
2. 优化的提示示例和转换方法。
3. 模型推理和微调的详细代码。
4. 项目更新日志和更多互动机会。
5. CogVideoX 工具链，帮助你更好地使用模型。
6. INT8 模型推理代码。

📄 许可证

此模型根据 CogVideoX 许可证 发布。

引用

@article{yang2024cogvideox,
  title={CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer},
  author={Yang, Zhuoyi and Teng, Jiayan and Zheng, Wendi and Ding, Ming and Huang, Shiyu and Xu, Jiazheng and Yang, Yuanming and Hong, Wenyi and Zhang, Xiaohan and Feng, Guanyu and others},
  journal={arXiv preprint arXiv:2408.06072},
  year={2024}
}