Contentv 8B

🚀 ContentV：利用有限計算資源高效訓練視頻生成模型

本項目推出了 ContentV，這是一個高效的框架，通過三項關鍵創新加速基於 DiT 的視頻生成模型的訓練：

• 極簡架構，最大限度地複用預訓練圖像生成模型進行視頻合成。
• 系統的多階段訓練策略，利用流匹配提高效率。
• 一種經濟高效的基於人類反饋的強化學習框架，無需額外的人工標註即可提高生成質量。

我們開源的 80 億參數模型（基於 Stable Diffusion 3.5 Large 和 Wan-VAE）僅用 256×64GB 的 NPU 訓練 4 周，就在 VBench 上取得了 85.14 的最優成績。

🚀 快速開始

推薦的 PyTorch 版本

• GPU：torch >= 2.3.1（CUDA >= 12.2）
• NPU：torch 和 torch-npu >= 2.1.0（CANN >= 8.0.RC2）。請參考 Ascend Extension for PyTorch 安裝 torch-npu。

安裝

git clone https://github.com/bytedance/ContentV.git
cd ContentV
pip3 install -r requirements.txt

文本到視頻生成

## 對於 GPU
python3 demo.py
## 對於 NPU
USE_ASCEND_NPU=1 python3 demo.py

✨ 主要特性

• 提出了一種極簡架構，可最大限度地複用預訓練圖像生成模型進行視頻合成。
• 採用了系統的多階段訓練策略，利用流匹配提高訓練效率。
• 引入了一種經濟高效的基於人類反饋的強化學習框架，無需額外的人工標註即可提高生成質量。

📊 VBench 評測結果

📄 待辦事項

• [x] 推理代碼和檢查點
• [ ] 基於人類反饋的強化學習訓練代碼

📄 許可證

本代碼倉庫和部分模型權重遵循 Apache 2.0 許可證。請注意：

• MMDiT 源自 Stable Diffusion 3.5 Large，並使用視頻樣本進行訓練。此 Stability AI 模型遵循 Stability AI 社區許可證，版權所有 © Stability AI Ltd。保留所有權利。
• 來自 Wan2.1 的視頻 VAE 遵循 Apache 2.0 許可證。

🙏 致謝

感謝以下開源項目的貢獻：

• Stable Diffusion 3.5 Large
• Wan2.1
• Diffusers
• HuggingFace

📖 引用

@article{contentv2025,
  title     = {ContentV: Efficient Training of Video Generation Models with Limited Compute},
  author    = {Bytedance Douyin Content Team},
  journal   = {arXiv preprint arXiv:2506.05343},
  year      = {2025}
  }