Speech Emotion Recognition Wav2vec2 Large Xlsr 53 240304 SER Fine Tuned2.0

🚀 SER_wav2vec2-large-xlsr-53_240304_fine-tuned_2

本模型是在hughlan1214/SER_wav2vec2-large-xlsr-53_240304_fine-tuned1.1基礎上，針對語音情感識別（英語）數據集進行微調得到的版本。該數據集涵蓋了英語領域最常用的4個數據集：Crema、Ravdess、Savee和Tess，總計包含超過12000個.wav音頻文件。這四個數據集中的每一個都包含6到8種不同的情感標籤。該模型在評估集上取得了以下成績：

• 損失值：1.0601
• 準確率：0.6731
• 精確率：0.6761
• 召回率：0.6794
• F1值：0.6738

✨ 主要特性

• 跨語言能力強：儘管模型是基於純英文數據集進行訓練的，但發佈後的測試表明，它在預測中文和法語語音情感方面也表現出色，展現了facebook/wav2vec2-large-xlsr-53預訓練模型強大的跨語言能力。
• 多情感預測：能夠預測語音中包含的7種情感類型，為後續結合視覺層面的人類微表情以及大語言模型（LLMS）下的上下文語義即時推斷用戶情感奠定了基礎。

📚 詳細文檔

模型描述

該模型通過使用facebook/wav2vec2-large-xlsr-53進行特徵提取，並經過多輪微調得到。它旨在預測語音中包含的7種情感，為後續在視覺層面利用人類微表情以及在大語言模型（LLMS）下結合上下文語義即時推斷用戶情感奠定基礎。

emotions = ['angry', 'disgust', 'fear', 'happy', 'neutral', 'sad', 'surprise']

預期用途和侷限性

更多信息待補充。

訓練和評估數據

使用整個數據集的70%進行訓練，30%進行評估。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：5e-05
• 訓練批次大小：8
• 評估批次大小：4
• 隨機種子：42
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 學習率調度器類型：餘弦
• 學習率調度器預熱比例：0.1
• 訓練輪數：10

訓練結果

框架版本

• Transformers 4.38.1
• Pytorch 2.2.1
• Datasets 2.17.1
• Tokenizers 0.15.2

📄 許可證

本模型採用Apache-2.0許可證。