W2v Speech Emotion Recognition

🚀 英文Wav2Vec2語音情感識別模型

本模型利用Wav2Vec2架構，針對英文語音中的情感識別進行了微調。它能夠檢測英文語音中的多種情感，為語音情感分析提供了有效的解決方案。

🚀 快速開始

要使用此模型，你需要安裝transformers和torchaudio包：

pip install transformers
pip install torchaudio

✨ 主要特性

• 情感識別能力：能夠檢測悲傷、憤怒、厭惡、恐懼、快樂和中性六種情感。
• 特定語言適配：專門針對英文語音進行訓練，在英文情感識別任務上表現出色。

📦 安裝指南

使用此模型，你需要安裝transformers和torchaudio包：

pip install transformers
pip install torchaudio

💻 使用示例

基礎用法

以下是如何使用該模型對英文音頻文件進行情感分類的示例：

from transformers import pipeline

# 加載微調後的模型和特徵提取器
pipe = pipeline("audio-classification", model="Khoa/w2v-speech-emotion-recognition")

# 你的音頻文件路徑
audio_file = "path_to_your_audio_file.wav"

# 進行情感分類
predictions = pipe(audio_file)

# 將預測結果映射到真實的情感標籤
label_map = {
    "LABEL_0": "sadness",
    "LABEL_1": "angry",
    "LABEL_2": "disgust",
    "LABEL_3": "fear",
    "LABEL_4": "happy",
    "LABEL_5": "neutral"
}

# 將預測結果轉換為可讀標籤
mapped_predictions = [
    {"score": pred["score"], "label": label_map[pred["label"]]} 
    for pred in predictions
]

# 顯示結果
print(mapped_predictions)

示例輸出

模型會輸出一個包含每種情感得分的預測列表。例如：

[
    {"score": 0.95, "label": "angry"},
    {"score": 0.02, "label": "happy"},
    {"score": 0.01, "label": "disgust"},
    {"score": 0.01, "label": "neutral"},
    {"score": 0.01, "label": "fear"}
]

📚 詳細文檔

模型概述

此模型使用Wav2Vec2架構，針對英文語音中的情感識別進行了微調。它能夠檢測以下情感：

• 悲傷
• 憤怒
• 厭惡
• 恐懼
• 快樂
• 中性

該模型在Kaggle的語音情感識別數據集上進行訓練，該數據集包含英文情感語音樣本。數據集中的音頻文件標有各種情感狀態，非常適合用於情感識別任務的模型訓練。

模型詳情

訓練結果

該模型在測試集上取得了以下結果：

• 測試準確率：0.7435
• 分類報告：

              precision    recall  f1-score   support

     sadness       0.68      0.71      0.70       251
       angry       0.75      0.93      0.83       258
     disgust       0.86      0.64      0.73       250
        fear       0.75      0.61      0.67       287
       happy       0.73      0.68      0.71       231
     neutral       0.72      0.92      0.81       212

    accuracy                           0.74      1489
   macro avg       0.75      0.75      0.74      1489
weighted avg       0.75      0.74      0.74      1489

訓練細節

該模型在語音情感識別數據集上使用Wav2Vec2架構進行微調。訓練過程涉及多個輪次，學習率為1e - 5。

侷限性和偏差

此模型專門針對英文語音數據進行訓練，在其他語言或方言上的表現可能不佳。此外，與任何機器學習模型一樣，訓練數據中可能存在偏差，這可能會影響模型的預測結果。

📄 許可證

本模型採用MIT許可證。