Dfot

🚀 Diffusion Forcing Transformer

このプロジェクトは、論文 History-guided Video Diffusion の公式モデルハブです。Diffusion Forcing Tranformer (DFoT) という新しいビデオ拡散モデルを導入しています。このモデルは、任意の数のコンテキストフレームを条件としてビデオを生成するように設計されています。さらに、DFoTによって可能になった History Guidance (HG) というガイダンス手法のファミリーも提案しています。これらの手法は、ビデオ生成の品質、時間的な一貫性、および動きのダイナミクスを大幅に向上させるだけでなく、合成ビデオ生成や極めて長いビデオの安定したロールアウトなどの新しい機能も実現します。

Kiwhan Song*¹ · Boyuan Chen*¹ · Max Simchowitz² · Yilun Du³ · Russ Tedrake¹ · Vincent Sitzmann¹
*Equal contribution ¹MIT ²CMU ³Harvard

論文 | ウェブサイト | HuggingFaceデモ | GitHubコード

🚀 クイックスタート

🤗 DFoTでビデオ生成を試してみましょう！

HuggingFace Spacesに インタラクティブなデモ を提供しています。ここでは、DFoTとHistory Guidanceを使ってビデオを生成できます。RealEstate10Kデータセットでは、以下のような生成が可能です。

• 任意の枚数の画像 → 2秒間の短いビデオ
• 単一の画像 → 10秒間の長いビデオ
• 単一の画像 → 無限のナビゲーションビデオ（上のティーザーのような！）

是非試して、DFoTで楽しくビデオを生成してみてください！

🚀 使用方法

すべての事前学習済みモデルは、私たちのGitHubコードベース から自動的に読み込むことができます。詳細な手順については、リポジトリをご覧ください！

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📌 引用

もし私たちの研究があなたの研究に役立った場合は、以下のように論文を引用していただけると幸いです。

@misc{song2025historyguidedvideodiffusion,
  title={History-Guided Video Diffusion}, 
  author={Kiwhan Song and Boyuan Chen and Max Simchowitz and Yilun Du and Russ Tedrake and Vincent Sitzmann},
  year={2025},
  eprint={2502.06764},
  archivePrefix={arXiv},
  primaryClass={cs.LG},
  url={https://arxiv.org/abs/2502.06764}, 
}