Cogvideox 5b

🚀 CogVideoX-5B

CogVideoX-5B是一个开源的视频生成模型，源自清影。它能根据文本输入生成高质量的视频，为视频创作带来了新的可能。

📄 中文阅读 | 🤗 Huggingface Space | 🌐 Github | 📜 arxiv

🚀 快速开始

本模型支持使用huggingface diffusers库进行部署。你可以按照以下步骤进行部署：

建议访问我们的GitHub，查看相关的提示词优化和转换方法，以获得更好的体验。

1. 安装所需依赖

# diffusers>=0.30.1
# transformers>=4.44.2
# accelerate>=0.33.0 (建议从源代码安装)
# imageio-ffmpeg>=0.5.1
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg 

2. 运行代码

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-5b",
    torch_dtype=torch.bfloat16
)

pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

✨ 主要特性

CogVideoX是源自清影的视频生成模型的开源版本。以下表格展示了我们目前提供的视频生成模型列表及其基础信息：

数据说明

• 使用diffusers库进行测试时，启用了enable_model_cpu_offload()选项和pipe.vae.enable_tiling()优化。此解决方案尚未在NVIDIA A100/H100以外的设备上测试实际显存/内存使用情况。一般来说，该解决方案可适用于所有NVIDIA安培架构及以上的设备。如果禁用优化，显存使用量将显著增加，峰值显存约为表中值的3倍。
• 进行多GPU推理时，需要禁用enable_model_cpu_offload()优化。
• 使用INT8模型会导致推理速度降低。这是为了适应显存较低的GPU，使推理能够在视频质量损失最小的情况下正常运行，但推理速度会显著降低。
• 2B模型使用FP16精度进行训练，而5B模型使用BF16精度进行训练。建议使用模型训练时使用的精度进行推理。
• FP8精度必须在NVIDIA H100及以上设备上使用，需要从源代码安装torch、torchao、diffusers和accelerate Python包。建议使用CUDA 12.4。
• 推理速度测试也使用了上述显存优化方案。如果不进行显存优化，推理速度将提高约10%。只有使用diffusers的模型支持量化。

注意事项

• 使用 SAT 对SAT版本的模型进行推理和微调。欢迎访问我们的GitHub获取更多信息。

💻 使用示例

基础用法

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-5b",
    torch_dtype=torch.bfloat16
)

pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

📚 详细文档

欢迎访问我们的github，你将在那里找到：

1. 更详细的技术细节和代码解释。
2. 提示词的优化和转换。
3. SAT版本模型的推理和微调，甚至预发布内容。
4. 项目更新日志动态，更多互动机会。
5. CogVideoX工具链，帮助你更好地使用模型。
6. INT8模型推理代码支持。

📄 许可证

本模型根据 CogVideoX LICENSE 发布。

📚 引用

@article{yang2024cogvideox,
  title={CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer},
  author={Yang, Zhuoyi and Teng, Jiayan and Zheng, Wendi and Ding, Ming and Huang, Shiyu and Xu, Jiazheng and Yang, Yuanming and Hong, Wenyi and Zhang, Xiaohan and Feng, Guanyu and others},
  journal={arXiv preprint arXiv:2408.06072},
  year={2024}
}

🎥 演示展示