Latte 1

🚀 Latte: ビデオ生成用潜在拡散トランスフォーマー

このリポジトリには、トランスフォーマーを用いた潜在拡散モデル（Latte）に関する論文のテキストからビデオへの生成の事前学習済みウェイトが含まれています。より多くのビジュアライゼーションをプロジェクトページで見ることができます。 FaceForensics、SkyTimelapse、UCF101、Taichi-HDの事前学習済みウェイトを取得したい場合は、こちらを参照してください。

✨ 主な機能

ニュース

• (🔥 新着) 2024年5月23日。💥 テキストからビデオへの生成用の Latte-1 がリリースされました！事前学習済みモデルはこちらからダウンロードできます。Latte-1はテキストから画像への生成もサポートしており、bash sample/t2i.shを実行してください。
• (🔥 新着) 2024年3月20日。💥 更新されたLatteT2Vモデルが間もなく登場しますので、お楽しみに！
• (🔥 新着) 2024年2月24日。💥 研究者や開発者の皆様に当社の作品が好評いただき、大変ありがたいです。LatteT2Vモデルを引き続き更新し、コミュニティの発展に貢献できるよう努めます。当社のLatte Discordチャンネルを作成し、議論を行っています。コーダーの皆様の貢献を歓迎します。
• (🔥 新着) 2024年1月9日。💥 PixArt-αで初期化された更新版のLatteT2Vモデルがリリースされました。チェックポイントはこちらで確認できます。
• (🔥 新着) 2023年10月31日。💥 学習と推論コードがリリースされました。すべてのチェックポイント（FaceForensics、SkyTimelapse、UCF101、Taichi-HDを含む）はこちらで見つけることができます。さらに、LatteT2Vの推論コードも提供されています。

お問い合わせ

王耀輝: wangyaohui@pjlab.org.cn 馬鑫: xin.ma1@monash.edu

引用

この研究があなたの研究に役立つ場合は、引用を検討してください。

@article{ma2024latte,
  title={Latte: Latent Diffusion Transformer for Video Generation},
  author={Ma, Xin and Wang, Yaohui and Jia, Gengyun and Chen, Xinyuan and Liu, Ziwei and Li, Yuan-Fang and Chen, Cunjian and Qiao, Yu},
  journal={arXiv preprint arXiv:2401.03048},
  year={2024}
}

論文: https://huggingface.co/papers/2401.03048

謝辞

Latteは、以下の素晴らしい作品やチームに大きな影響を受けています: DiT と PixArt-α。オープンソース化に貢献されたすべての方に感謝いたします。

📄 ライセンス

Apache-2.0ライセンスの下で提供されています。