Joyvasa

🚀 JoyVASA

音声駆動型の顔アニメーションにおいて、拡散ベースの手法を用いて顔の動きと頭部の動きを生成するモデルです。多言語対応し、人間の肖像だけでなく動物の顔もアニメーション化できます。

🚀 クイックスタート

JoyVASAは、音声駆動型の顔アニメーションにおいて、拡散ベースの手法を用いて顔の動きと頭部の動きを生成する方法を提案します。まず、第1段階では、動的な顔の表情を静的な3D顔表現から分離する分離型顔表現フレームワークを導入します。この分離により、システムは任意の静的3D顔表現と動的な動きシーケンスを組み合わせて、より長いビデオを生成することができます。次に、第2段階では、拡散トランスフォーマーを訓練して、キャラクターのアイデンティティに依存せずに音声キューから直接動きシーケンスを生成します。最後に、第1段階で訓練されたジェネレーターは、3D顔表現と生成された動きシーケンスを入力として、高品質なアニメーションをレンダリングします。分離型顔表現とアイデンティティに依存しない動き生成プロセスにより、JoyVASAは人間の肖像を超えて、動物の顔もシームレスにアニメーション化することができます。このモデルは、中国語のプライベートデータと英語の公開データのハイブリッドデータセットで訓練されており、多言語サポートを可能にします。実験結果は、我々のアプローチの有効性を検証しています。将来的な作業では、リアルタイム性能の向上と表情制御の洗練に焦点を当て、肖像アニメーションにおけるこのフレームワークの応用範囲をさらに拡大する予定です。

📚 ドキュメント

使い方

コードはこちらのリンクから見ることができます：https://github.com/jdh-algo/JoyVASA。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 引用

@misc{cao2024joyvasaportraitanimalimage,
      title={JoyVASA: Portrait and Animal Image Animation with Diffusion-Based Audio-Driven Facial Dynamics and Head Motion Generation}, 
      author={Xuyang Cao and Guoxin Wang and Sheng Shi and Jun Zhao and Yang Yao and Jintao Fei and Minyu Gao},
      year={2024},
      eprint={2411.09209},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.09209}, 
}