Contentv 8B

🚀 ContentV: 限られたコンピューティングリソースでのビデオ生成モデルの効率的なトレーニング

このプロジェクトでは、ContentV という、DiTベースのビデオ生成モデルのトレーニングを加速するための効率的なフレームワークを提案しています。これには3つの主要な革新的な要素があります。

• ビデオ合成における事前学習済み画像生成モデルの再利用を最大化するミニマリストなアーキテクチャ
• フローマッチングを活用した体系的な多段階トレーニング戦略で、効率を向上
• 追加の人間によるアノテーションを必要とせずに生成品質を向上させる費用対効果の高い人間フィードバック付き強化学習フレームワーク

当社のオープンソースの8Bモデル（Stable Diffusion 3.5 LargeとWan-VAEに基づく）は、256×64GBのNPUで4週間のトレーニングで、VBenchで85.14という最先端の結果を達成しました。

🚀 クイックスタート

推奨PyTorchバージョン

• GPU: torch >= 2.3.1 (CUDA >= 12.2)
• NPU: torch と torch-npu >= 2.1.0 (CANN >= 8.0.RC2)。torch-npuのインストールについては、Ascend Extension for PyTorch を参照してください。

インストール

git clone https://github.com/bytedance/ContentV.git
cd ContentV
pip3 install -r requirements.txt

テキストからビデオへの生成

## GPU用
python3 demo.py
## NPU用
USE_ASCEND_NPU=1 python3 demo.py

✨ 主な機能

このプロジェクトの主な機能は、以下の3つの革新的なアプローチによって、DiTベースのビデオ生成モデルのトレーニングを加速することです。

• 事前学習済み画像生成モデルの再利用を最大化するミニマリストなアーキテクチャ
• フローマッチングを活用した多段階トレーニング戦略
• 追加の人間によるアノテーションを必要としない強化学習フレームワーク

📊 VBenchの結果

📋 Todoリスト

• [x] 推論コードとチェックポイント
• [ ] RLHFのトレーニングコード

📄 ライセンス

このコードリポジトリと一部のモデルウェイトは、Apache 2.0 License の下でライセンスされています。ただし、以下の点に注意してください。

• MMDiTは Stable Diffusion 3.5 Large から派生し、ビデオサンプルを使用してトレーニングされています。このStability AIモデルは Stability AI Community License の下でライセンスされており、Copyright © Stability AI Ltd. All Rights Reserved です。
• Wan2.1 のビデオVAEは Apache 2.0 License の下でライセンスされています。

🙏 謝辞

• Stable Diffusion 3.5 Large
• Wan2.1
• Diffusers
• HuggingFace

📖 引用

@article{contentv2025,
  title     = {ContentV: Efficient Training of Video Generation Models with Limited Compute},
  author    = {Bytedance Douyin Content Team},
  journal   = {arXiv preprint arXiv:2506.05343},
  year      = {2025}
  }