Wav2vec2 Xlsr English Speech Emotion Recognition

🚀 英文情感識別模型：基於RAVDESS和Wav2Vec 2.0

本模型能夠從音頻記錄中提取情感。它基於RAVDESS數據集進行訓練，該數據集包含英文音頻記錄。此模型可以識別六種情感：憤怒、厭惡、恐懼、快樂、悲傷和驚訝。

該模型借鑑了希臘情感提取器的工作，使用預訓練的Wav2Vec2模型來處理數據。

🚀 快速開始

使用以下代碼開始使用該模型。 [更多信息待補充]

✨ 主要特性

• 能夠從英文音頻記錄中準確識別六種情感。
• 借鑑了希臘情感提取器的工作，利用預訓練的Wav2Vec2模型處理數據。

📚 詳細文檔

🔍 模型詳情

模型描述

• 改編自：希臘語情感識別
• 模型類型：帶CTC的神經網絡
• 語言（NLP）：英語
• 微調自的模型：wav2vec2

📊 訓練詳情

訓練數據

RAVDESS數據集被分別按60%、20%和20%的比例劃分為訓練集、驗證集和測試集。

訓練過程

微調過程圍繞四個超參數展開：

• 批次數量（4, 8）
• 梯度累積步數（GAS）（2, 4, 6, 8）
• 訓練輪數（10, 20）
• 學習率（1e - 3, 1e - 4, 1e - 5）

每個實驗重複10次。

📈 評估

表現最佳的超參數組合為：4個批次、4步梯度累積、10輪訓練和1e - 4的學習率。

🧪 測試

使用最佳超參數組合在訓練集和驗證集的組合數據上重新訓練模型。在測試集上的平均準確率和F1分數分別為84.84%（標準差分別為2和2.08）。

📋 結果

我們保留了在10次運行中表現最佳的模型。