Contentv 8B

🚀 ContentV：利用有限计算资源高效训练视频生成模型

本项目推出了 ContentV，这是一个高效的框架，通过三项关键创新加速基于 DiT 的视频生成模型的训练：

• 极简架构，最大限度地复用预训练图像生成模型进行视频合成。
• 系统的多阶段训练策略，利用流匹配提高效率。
• 一种经济高效的基于人类反馈的强化学习框架，无需额外的人工标注即可提高生成质量。

我们开源的 80 亿参数模型（基于 Stable Diffusion 3.5 Large 和 Wan-VAE）仅用 256×64GB 的 NPU 训练 4 周，就在 VBench 上取得了 85.14 的最优成绩。

🚀 快速开始

推荐的 PyTorch 版本

• GPU：torch >= 2.3.1（CUDA >= 12.2）
• NPU：torch 和 torch-npu >= 2.1.0（CANN >= 8.0.RC2）。请参考 Ascend Extension for PyTorch 安装 torch-npu。

安装

git clone https://github.com/bytedance/ContentV.git
cd ContentV
pip3 install -r requirements.txt

文本到视频生成

## 对于 GPU
python3 demo.py
## 对于 NPU
USE_ASCEND_NPU=1 python3 demo.py

✨ 主要特性

• 提出了一种极简架构，可最大限度地复用预训练图像生成模型进行视频合成。
• 采用了系统的多阶段训练策略，利用流匹配提高训练效率。
• 引入了一种经济高效的基于人类反馈的强化学习框架，无需额外的人工标注即可提高生成质量。

📊 VBench 评测结果

📄 待办事项

• [x] 推理代码和检查点
• [ ] 基于人类反馈的强化学习训练代码

📄 许可证

本代码仓库和部分模型权重遵循 Apache 2.0 许可证。请注意：

• MMDiT 源自 Stable Diffusion 3.5 Large，并使用视频样本进行训练。此 Stability AI 模型遵循 Stability AI 社区许可证，版权所有 © Stability AI Ltd。保留所有权利。
• 来自 Wan2.1 的视频 VAE 遵循 Apache 2.0 许可证。

🙏 致谢

感谢以下开源项目的贡献：

• Stable Diffusion 3.5 Large
• Wan2.1
• Diffusers
• HuggingFace

📖 引用

@article{contentv2025,
  title     = {ContentV: Efficient Training of Video Generation Models with Limited Compute},
  author    = {Bytedance Douyin Content Team},
  journal   = {arXiv preprint arXiv:2506.05343},
  year      = {2025}
  }