Speech Emotion Recognition With Facebook Wav2vec2 Large Xlsr 53

🚀 🎧 基於Wav2Vec2的語音情感識別

本項目藉助 Wav2Vec2 模型實現語音情感識別。旨在將音頻記錄分類為不同的情感類別，如 快樂、悲傷、驚訝 等。

🚀 快速開始

from transformers import AutoModelForAudioClassification, AutoFeatureExtractor
import librosa
import torch
import numpy as np

model_id = "firdhokk/speech-emotion-recognition-with-facebook-wav2vec2-large-xlsr-53"
model = AutoModelForAudioClassification.from_pretrained(model_id)

feature_extractor = AutoFeatureExtractor.from_pretrained(model_id, do_normalize=True, return_attention_mask=True)
id2label = model.config.id2label

def preprocess_audio(audio_path, feature_extractor, max_duration=30.0):
    audio_array, sampling_rate = librosa.load(audio_path, sr=feature_extractor.sampling_rate)
    
    max_length = int(feature_extractor.sampling_rate * max_duration)
    if len(audio_array) > max_length:
        audio_array = audio_array[:max_length]
    else:
        audio_array = np.pad(audio_array, (0, max_length - len(audio_array)))

    inputs = feature_extractor(
        audio_array,
        sampling_rate=feature_extractor.sampling_rate,
        max_length=max_length,
        truncation=True,
        return_attention_mask=True,
        return_tensors="pt",
    )
    return inputs

def predict_emotion(audio_path, model, feature_extractor, id2label, max_duration=30.0):
    inputs = preprocess_audio(audio_path, feature_extractor, max_duration)
    
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    model = model.to(device)
    inputs = {key: value.to(device) for key, value in inputs.items()}

    with torch.no_grad():
        outputs = model(**inputs)

    logits = outputs.logits
    predicted_id = torch.argmax(logits, dim=-1).item()
    predicted_label = id2label[predicted_id]
    
    return predicted_label

audio_path = "/content/drive/MyDrive/Audio/Speech_URDU/Happy/SM5_F4_H058.wav"

predicted_emotion = predict_emotion(audio_path, model, feature_extractor, id2label)
print(f"Predicted Emotion: {predicted_emotion}")

✨ 主要特性

• 利用 Wav2Vec2 模型進行語音情感識別。
• 支持將音頻分類為多種情感類別。
• 訓練和評估使用了多個公開數據集。

📦 安裝指南

文檔未提及安裝步驟，此處跳過。

💻 使用示例

基礎用法

from transformers import AutoModelForAudioClassification, AutoFeatureExtractor
import librosa
import torch
import numpy as np

model_id = "firdhokk/speech-emotion-recognition-with-facebook-wav2vec2-large-xlsr-53"
model = AutoModelForAudioClassification.from_pretrained(model_id)

feature_extractor = AutoFeatureExtractor.from_pretrained(model_id, do_normalize=True, return_attention_mask=True)
id2label = model.config.id2label

高級用法

def preprocess_audio(audio_path, feature_extractor, max_duration=30.0):
    audio_array, sampling_rate = librosa.load(audio_path, sr=feature_extractor.sampling_rate)
    
    max_length = int(feature_extractor.sampling_rate * max_duration)
    if len(audio_array) > max_length:
        audio_array = audio_array[:max_length]
    else:
        audio_array = np.pad(audio_array, (0, max_length - len(audio_array)))

    inputs = feature_extractor(
        audio_array,
        sampling_rate=feature_extractor.sampling_rate,
        max_length=max_length,
        truncation=True,
        return_attention_mask=True,
        return_tensors="pt",
    )
    return inputs

def predict_emotion(audio_path, model, feature_extractor, id2label, max_duration=30.0):
    inputs = preprocess_audio(audio_path, feature_extractor, max_duration)
    
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    model = model.to(device)
    inputs = {key: value.to(device) for key, value in inputs.items()}

    with torch.no_grad():
        outputs = model(**inputs)

    logits = outputs.logits
    predicted_id = torch.argmax(logits, dim=-1).item()
    predicted_label = id2label[predicted_id]
    
    return predicted_label

audio_path = "/content/drive/MyDrive/Audio/Speech_URDU/Happy/SM5_F4_H058.wav"

predicted_emotion = predict_emotion(audio_path, model, feature_extractor, id2label)
print(f"Predicted Emotion: {predicted_emotion}")

📚 詳細文檔

🗂 數據集

訓練和評估使用的數據集來自多個公開數據集，包括：

• RAVDESS
• SAVEE
• TESS
• URDU

數據集包含標註了各種情感的錄音。以下是數據集中情感的分佈情況：

這種分佈反映了數據集中情感的平衡情況，有些情感的樣本比其他情感多。由於“平靜”情感的樣本數量不足，在訓練過程中排除了該情感。

🎤 預處理

• 音頻加載：使用 Librosa 加載音頻文件並將其轉換為 numpy 數組。
• 特徵提取：使用 Wav2Vec2 特徵提取器 處理音頻數據，對音頻特徵進行標準化和歸一化，以便輸入到模型中。

🔧 模型

使用的模型是 Wav2Vec2 Large XLR-53 模型，並針對 音頻分類 任務進行了微調：

• 模型：facebook/wav2vec2-large-xlsr-53
• 輸出：情感標籤 (憤怒', '厭惡', '恐懼', '快樂', '中立', '悲傷', '驚訝') 將情感標籤映射為數字 ID，並用於模型的訓練和評估。

⚙️ 訓練

模型使用以下參數進行訓練：

• 學習率：5e-05
• 訓練批次大小：2
• 評估批次大小：2
• 隨機種子：42
• 梯度累積步數：5
• 總訓練批次大小：10（梯度累積後的有效批次大小）
• 優化器：Adam，參數為 betas=(0.9, 0.999) 和 epsilon=1e-08
• 學習率調度器：linear
• 學習率調度器的熱身比例：0.1
• 訓練輪數：25
• 混合精度訓練：原生 AMP（自動混合精度）

這些參數確保了模型訓練的效率和穩定性，特別是在處理像 Wav2Vec2 這樣的大型數據集和深度模型時。訓練過程使用 Wandb 進行實驗跟蹤和監控。

📊 指標

模型訓練後獲得的評估指標如下：

• 損失：0.4989
• 準確率：0.9168
• 精確率：0.9209
• 召回率：0.9168
• F1 分數：0.9166

這些指標展示了模型在語音情感識別任務上的性能。準確率、精確率、召回率和 F1 分數的高值表明，模型能夠有效地從語音數據中識別情感狀態。

🧪 結果

訓練完成後，在測試數據集上對模型進行評估，並使用 Wandb 在 此鏈接 監控結果。

🔧 技術細節

文檔未提供具體的技術實現細節，此處跳過。

📄 許可證

本項目使用的許可證為 apache-2.0。