Joyhallo V1

🚀 JoyHallo: 中国語用デジタルヒューマンモデル

音声駆動型の動画生成において、中国語のビデオ生成に特化したデジタルヒューマンモデルで、クロス言語生成能力も備えています。

📚 ドキュメント

音声駆動型の動画生成において、中国語のビデオを作成することは大きな課題を呈します。包括的な中国語データセットの収集は困難であり、中国語の複雑な唇の動きは、英語と比較してモデルのトレーニングをさらに複雑にします。この研究では、JD Health International Inc.の従業員から29時間の中国語の音声ビデオを収集し、jdh - Halloデータセットを作成しました。このデータセットには、さまざまな年齢層や話し方が含まれ、会話や専門的な医療トピックの両方がカバーされています。

JoyHalloモデルを中国語に適応させるために、中国語のwav2vec2モデルを音声特徴埋め込みに使用しました。唇、表情、ポーズの特徴間の特徴間関係を捉えるために、半分離構造が提案されています。この統合により、情報利用効率が向上するだけでなく、推論速度が14.3％向上します。特に、JoyHalloは英語のビデオを生成する強力な能力を維持しており、優れたクロス言語生成能力を示しています。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。