SER Wav2vec2 Large Xlsr 53 Eng Zho All Age

🚀 低リソース高齢者音声感情認識のためのクロス言語・クロス年齢層適応

全年代の話者の英語と中国語のデータで、facebook/wav2vec2-large-xlsr-53 をファインチューニングしました。 このモデルは、CREMA-D、CSED、ElderReact、ESD、IEMOCAP、TESS のトレーニングセットを用いてトレーニングされています。 このモデルを使用する際には、音声入力が16kHzでサンプリングされていることを確認してください。

トレーニングと評価に使用されたスクリプトはこちらにあります： https://github.com/HLTCHKUST/elderly_ser/tree/main

📚 評価結果

詳細（例えば、train、valid、test データの統計情報）については、arXiv の論文を参照してください。 この論文では、英語-全年代、中国語-全年代、英語-高齢者、中国語-高齢者、英語-成人、中国語-成人におけるモデルの音声感情認識性能も提供されています。

📄 ライセンス

このプロジェクトは CC BY-SA 4.0 ライセンスの下で公開されています。

📚 引用

当社の論文は INTERSPEECH 2023 で公開されます。それまでの間、arXiv で論文を見ることができます。 当社の研究が役に立った場合は、以下のように論文を引用していただけると幸いです。

@misc{cahyawijaya2023crosslingual,
      title={Cross-Lingual Cross-Age Group Adaptation for Low-Resource Elderly Speech Emotion Recognition}, 
      author={Samuel Cahyawijaya and Holy Lovenia and Willy Chung and Rita Frieske and Zihan Liu and Pascale Fung},
      year={2023},
      eprint={2306.14517},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}