Dfot

🚀 擴散強制變壓器（Diffusion Forcing Transformer）

本項目是論文 《歷史引導的視頻擴散》 的官方模型中心。我們推出了 擴散強制變壓器（Diffusion Forcing Tranformer，DFoT），這是一種新穎的視頻擴散模型，旨在根據任意數量的上下文幀生成視頻。此外，我們還提出了 歷史引導（History Guidance，HG） 方法，這是一類由 DFoT 獨特實現的引導方法。這些方法顯著提高了視頻生成的質量、時間一致性和運動動態，同時還解鎖了新的功能，如組合視頻生成和極長視頻的穩定滾動。

🚀 快速開始

🤗 試用 DFoT 生成視頻！

我們在 HuggingFace Spaces 上提供了一個 交互式 演示，您可以在其中使用 DFoT 和歷史引導方法生成視頻。在 RealEstate10K 數據集上，您可以進行以下操作：

• 任意數量的圖像 → 2 秒短視頻
• 單張圖像 → 10 秒長視頻
• 單張圖像 → 無限導航視頻（如上面的預告所示！）

快來體驗，享受使用 DFoT 生成視頻的樂趣吧！

🚀 使用方法

所有預訓練模型都可以從 我們的 GitHub 代碼庫 自動加載。請訪問我們的倉庫獲取更多說明！

📄 許可證

本項目採用 MIT 許可證。

📌 引用

如果我們的工作對您的研究有幫助，請考慮引用我們的論文：

@misc{song2025historyguidedvideodiffusion,
  title={History-Guided Video Diffusion}, 
  author={Kiwhan Song and Boyuan Chen and Max Simchowitz and Yilun Du and Russ Tedrake and Vincent Sitzmann},
  year={2025},
  eprint={2502.06764},
  archivePrefix={arXiv},
  primaryClass={cs.LG},
  url={https://arxiv.org/abs/2502.06764}, 
}

作者信息

Kiwhan Song*¹ · Boyuan Chen*¹ · Max Simchowitz² · Yilun Du³ · Russ Tedrake¹ · Vincent Sitzmann¹
*同等貢獻 ¹麻省理工學院（MIT） ²卡內基梅隆大學（CMU） ³哈佛大學（Harvard）

論文 | 項目網站 | HuggingFace 演示 | GitHub 代碼