Wav2vec2 Xls R 300m Pt Br Spontaneous Speech Emotion Recognition

🚀 Wav2vec 2.0 XLS - R 用於自然語音情感識別

本模型在葡萄牙語自然和準備語音的自動語音識別與語音情感識別（SE&R 2022）研討會的 SER 賽道中榮獲第一名。它能夠對語音情感進行精準識別，在多個語音數據集上進行訓練，具有較高的準確率和泛化能力，為語音情感識別領域提供了優秀的解決方案。

🚀 快速開始

此模型可用於自然語音情感識別任務，下面為你介紹其相關信息。

✨ 主要特性

• 多數據集訓練：使用了多種語言的語音數據集進行訓練，包括葡萄牙語、意大利語、英語和阿拉伯語，增強了模型的泛化能力。
• 優秀的測試結果：在測試集上取得了較高的準確率、宏精確率、宏召回率和宏 F1 - 分數。

📚 詳細文檔

訓練數據集

以下數據集用於模型訓練：

• CORAA SER v1.0：該數據集由自然葡萄牙語語音組成，約 40 分鐘的音頻片段被標記為三個類別：中性、非中性女性和非中性男性。
• EMOVO 語料庫：這是一個意大利語情感語音數據庫，由多達 6 名演員的語音構建而成，他們朗讀 14 個句子，模擬 6 種情緒狀態（厭惡、恐懼、憤怒、喜悅、驚訝、悲傷）以及中性狀態。
• RAVDESS：該數據集提供了 1440 個英語語音樣本，演員表演 8 種不同的情緒，分別是：憤怒、平靜、厭惡、恐懼、快樂、中性、悲傷和驚訝。
• BAVED：這是一個阿拉伯語語音情感數據集，包含七個單詞，以三種情感水平朗讀：低情感（疲倦或情緒低落）、中性情感（日常說話方式）和高情感（積極或消極情緒，如快樂、喜悅、悲傷、憤怒）。

測試集

測試集是 CORAA SER v1.0 的一部分，專門預留用於此測試。

測試結果

模型在測試集上取得了以下結果：

• 準確率：0.9090
• 宏精確率：0.8171
• 宏召回率：0.8397
• 宏 F1 - 分數：0.8187

數據集詳情

以下圖片展示了數據集的整體分佈：

以下圖片展示了按標籤劃分的實例數量：

模型倉庫

實現該模型訓練和測試的倉庫可在 此處 找到。

📄 許可證

本項目採用 Apache - 2.0 許可證。