Joyhallo V1

🚀 JoyHallo：面向中文的數字人模型

JoyHallo是一款面向中文的數字人模型，它解決了中文音頻驅動視頻生成中數據集收集難、唇形運動複雜等問題。該模型通過構建包含多樣化內容的jdh - Hallo數據集，並採用特定的音頻特徵嵌入和半解耦結構，提升了信息利用效率和推理速度，同時具備出色的跨語言視頻生成能力。

🚀 快速開始

暫未提供快速開始相關內容，若有後續可進一步補充。

✨ 主要特性

• 針對性數據集：收集了來自京東健康國際股份有限公司員工的29小時中文語音視頻，構建了jdh - Hallo數據集，該數據集涵蓋不同年齡、說話風格，包含日常對話和專業醫學話題。
• 音頻特徵嵌入：採用中文wav2vec2模型進行音頻特徵嵌入，以適配中文語音。
• 半解耦結構：提出半解耦結構來捕捉唇部、表情和姿態特徵之間的相互關係，提高信息利用效率，使推理速度提升14.3%。
• 跨語言能力：在生成中文視頻表現出色的同時，保持了強大的英文視頻生成能力，具備優秀的跨語言生成能力。

📚 詳細文檔

📖 簡介

在音頻驅動的視頻生成領域，生成中文視頻面臨著重大挑戰。收集全面的中文數據集十分困難，而且與英語相比，中文複雜的唇形運動讓模型訓練更加複雜。在本研究中，我們從京東健康國際股份有限公司員工那裡收集了29小時的中文語音視頻，得到了jdh - Hallo數據集。該數據集涵蓋了不同年齡段和說話風格，包括日常對話和專業醫學話題。

為了讓JoyHallo模型適配中文，我們採用中文wav2vec2模型進行音頻特徵嵌入。同時，提出了一種半解耦結構來捕捉唇部、表情和姿態特徵之間的相互關係。這種結合不僅提高了信息利用效率，還使推理速度加快了14.3%。值得注意的是，JoyHallo在生成英文視頻方面依然表現強勁，展示了出色的跨語言生成能力。

📄 許可證

本項目採用MIT許可證。