SER Wav2vec2 Large Xlsr 53 Eng Zho Adults

🚀 低リソース高齢者音声感情認識のためのクロス言語・クロス年齢層適応

このモデルは、成人話者の英語と中国語のデータでfacebook/wav2vec2-large-xlsr-53をファインチューニングしたものです。訓練には、CREMA-D、ESD、IEMOCAP、TESSのトレーニングセットを使用しています。このモデルを使用する際には、音声入力が16kHzでサンプリングされていることを確認してください。

訓練と評価に使用されたスクリプトはこちらにあります: https://github.com/HLTCHKUST/elderly_ser/tree/main

📚 ドキュメント

評価結果

詳細（例えば、train、valid、testデータの統計情報）については、arXivに掲載されている当社の論文を参照してください。この論文では、英語全体、中国語全体、英語高齢者、中国語高齢者、英語成人、中国語成人に対するモデルの音声感情認識性能も提供されています。

引用

当社の論文はINTERSPEECH 2023で公開されます。それまでの間、arXivで論文を見ることができます。当社の研究が役に立った場合は、以下のように論文を引用していただけると幸いです。

@misc{cahyawijaya2023crosslingual,
      title={Cross-Lingual Cross-Age Group Adaptation for Low-Resource Elderly Speech Emotion Recognition}, 
      author={Samuel Cahyawijaya and Holy Lovenia and Willy Chung and Rita Frieske and Zihan Liu and Pascale Fung},
      year={2023},
      eprint={2306.14517},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このプロジェクトはCC BY-SA 4.0ライセンスの下で公開されています。

その他の情報