SER Wav2vec2 Large Xlsr 53 Eng Zho Adults

🚀 跨語言跨年齡組自適應低資源老年人語音情感識別

本項目針對低資源老年人語音情感識別問題，基於Transformer架構，利用多語言多年齡段數據對模型進行微調，有效提升了模型在不同語言和年齡組上的性能。

🚀 快速開始

本模型基於 facebook/wav2vec2-large-xlsr-53 進行微調，使用了來自英語和中文成年說話者的數據。模型在 CREMA - D、ESD、IEMOCAP 和 TESS 等數據集的訓練集上進行訓練。

使用此模型時，請確保您的語音輸入採樣率為 16kHz。

訓練和評估腳本可在此處找到：https://github.com/HLTCHKUST/elderly_ser/tree/main

📚 詳細文檔

評估結果

有關詳細信息（例如 train、valid 和 test 數據的統計信息），請參考我們發表在 arXiv 上的論文。該論文還提供了模型在以下場景下的語音情感識別性能：英語全年齡段、中文全年齡段、英語老年人、中文老年人、英語成年人、中文成年人。

引用信息

我們的論文將在 INTERSPEECH 2023 會議上發表。同時，您可以在 arXiv 上找到我們的論文。

如果您覺得我們的工作有幫助，請考慮按以下方式引用我們的論文：

@misc{cahyawijaya2023crosslingual,
      title={Cross-Lingual Cross-Age Group Adaptation for Low-Resource Elderly Speech Emotion Recognition}, 
      author={Samuel Cahyawijaya and Holy Lovenia and Willy Chung and Rita Frieske and Zihan Liu and Pascale Fung},
      year={2023},
      eprint={2306.14517},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本項目採用 CC BY - SA 4.0 許可證。

📦 模型信息