Speech Emotion Recognition With Facebook Wav2vec2 Large Xlsr 53

🚀 🎧 基于Wav2Vec2的语音情感识别

本项目借助 Wav2Vec2 模型实现语音情感识别。旨在将音频记录分类为不同的情感类别，如 快乐、悲伤、惊讶 等。

🚀 快速开始

from transformers import AutoModelForAudioClassification, AutoFeatureExtractor
import librosa
import torch
import numpy as np

model_id = "firdhokk/speech-emotion-recognition-with-facebook-wav2vec2-large-xlsr-53"
model = AutoModelForAudioClassification.from_pretrained(model_id)

feature_extractor = AutoFeatureExtractor.from_pretrained(model_id, do_normalize=True, return_attention_mask=True)
id2label = model.config.id2label

def preprocess_audio(audio_path, feature_extractor, max_duration=30.0):
    audio_array, sampling_rate = librosa.load(audio_path, sr=feature_extractor.sampling_rate)
    
    max_length = int(feature_extractor.sampling_rate * max_duration)
    if len(audio_array) > max_length:
        audio_array = audio_array[:max_length]
    else:
        audio_array = np.pad(audio_array, (0, max_length - len(audio_array)))

    inputs = feature_extractor(
        audio_array,
        sampling_rate=feature_extractor.sampling_rate,
        max_length=max_length,
        truncation=True,
        return_attention_mask=True,
        return_tensors="pt",
    )
    return inputs

def predict_emotion(audio_path, model, feature_extractor, id2label, max_duration=30.0):
    inputs = preprocess_audio(audio_path, feature_extractor, max_duration)
    
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    model = model.to(device)
    inputs = {key: value.to(device) for key, value in inputs.items()}

    with torch.no_grad():
        outputs = model(**inputs)

    logits = outputs.logits
    predicted_id = torch.argmax(logits, dim=-1).item()
    predicted_label = id2label[predicted_id]
    
    return predicted_label

audio_path = "/content/drive/MyDrive/Audio/Speech_URDU/Happy/SM5_F4_H058.wav"

predicted_emotion = predict_emotion(audio_path, model, feature_extractor, id2label)
print(f"Predicted Emotion: {predicted_emotion}")

✨ 主要特性

• 利用 Wav2Vec2 模型进行语音情感识别。
• 支持将音频分类为多种情感类别。
• 训练和评估使用了多个公开数据集。

📦 安装指南

文档未提及安装步骤，此处跳过。

💻 使用示例

基础用法

from transformers import AutoModelForAudioClassification, AutoFeatureExtractor
import librosa
import torch
import numpy as np

model_id = "firdhokk/speech-emotion-recognition-with-facebook-wav2vec2-large-xlsr-53"
model = AutoModelForAudioClassification.from_pretrained(model_id)

feature_extractor = AutoFeatureExtractor.from_pretrained(model_id, do_normalize=True, return_attention_mask=True)
id2label = model.config.id2label

高级用法

def preprocess_audio(audio_path, feature_extractor, max_duration=30.0):
    audio_array, sampling_rate = librosa.load(audio_path, sr=feature_extractor.sampling_rate)
    
    max_length = int(feature_extractor.sampling_rate * max_duration)
    if len(audio_array) > max_length:
        audio_array = audio_array[:max_length]
    else:
        audio_array = np.pad(audio_array, (0, max_length - len(audio_array)))

    inputs = feature_extractor(
        audio_array,
        sampling_rate=feature_extractor.sampling_rate,
        max_length=max_length,
        truncation=True,
        return_attention_mask=True,
        return_tensors="pt",
    )
    return inputs

def predict_emotion(audio_path, model, feature_extractor, id2label, max_duration=30.0):
    inputs = preprocess_audio(audio_path, feature_extractor, max_duration)
    
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    model = model.to(device)
    inputs = {key: value.to(device) for key, value in inputs.items()}

    with torch.no_grad():
        outputs = model(**inputs)

    logits = outputs.logits
    predicted_id = torch.argmax(logits, dim=-1).item()
    predicted_label = id2label[predicted_id]
    
    return predicted_label

audio_path = "/content/drive/MyDrive/Audio/Speech_URDU/Happy/SM5_F4_H058.wav"

predicted_emotion = predict_emotion(audio_path, model, feature_extractor, id2label)
print(f"Predicted Emotion: {predicted_emotion}")

📚 详细文档

🗂 数据集

训练和评估使用的数据集来自多个公开数据集，包括：

• RAVDESS
• SAVEE
• TESS
• URDU

数据集包含标注了各种情感的录音。以下是数据集中情感的分布情况：

这种分布反映了数据集中情感的平衡情况，有些情感的样本比其他情感多。由于“平静”情感的样本数量不足，在训练过程中排除了该情感。

🎤 预处理

• 音频加载：使用 Librosa 加载音频文件并将其转换为 numpy 数组。
• 特征提取：使用 Wav2Vec2 特征提取器 处理音频数据，对音频特征进行标准化和归一化，以便输入到模型中。

🔧 模型

使用的模型是 Wav2Vec2 Large XLR-53 模型，并针对 音频分类 任务进行了微调：

• 模型：facebook/wav2vec2-large-xlsr-53
• 输出：情感标签 (愤怒', '厌恶', '恐惧', '快乐', '中立', '悲伤', '惊讶') 将情感标签映射为数字 ID，并用于模型的训练和评估。

⚙️ 训练

模型使用以下参数进行训练：

• 学习率：5e-05
• 训练批次大小：2
• 评估批次大小：2
• 随机种子：42
• 梯度累积步数：5
• 总训练批次大小：10（梯度累积后的有效批次大小）
• 优化器：Adam，参数为 betas=(0.9, 0.999) 和 epsilon=1e-08
• 学习率调度器：linear
• 学习率调度器的热身比例：0.1
• 训练轮数：25
• 混合精度训练：原生 AMP（自动混合精度）

这些参数确保了模型训练的效率和稳定性，特别是在处理像 Wav2Vec2 这样的大型数据集和深度模型时。训练过程使用 Wandb 进行实验跟踪和监控。

📊 指标

模型训练后获得的评估指标如下：

• 损失：0.4989
• 准确率：0.9168
• 精确率：0.9209
• 召回率：0.9168
• F1 分数：0.9166

这些指标展示了模型在语音情感识别任务上的性能。准确率、精确率、召回率和 F1 分数的高值表明，模型能够有效地从语音数据中识别情感状态。

🧪 结果

训练完成后，在测试数据集上对模型进行评估，并使用 Wandb 在 此链接 监控结果。

🔧 技术细节

文档未提供具体的技术实现细节，此处跳过。

📄 许可证

本项目使用的许可证为 apache-2.0。