Hubert Large Speech Emotion Recognition Russian Dusha Finetuned

🚀 HuBERT在DUSHA数据集上微调用于俄语语音情感识别

本项目使用预训练模型 facebook/hubert-large-ls960-ft，并在DUSHA数据集上进行微调，以实现俄语语音情感识别。DUSHA数据集可在 此处 找到。

✨ 主要特性

• 基于预训练模型：使用 facebook/hubert-large-ls960-ft 作为基础模型，充分利用其特征提取能力。
• 俄语语音情感识别：专门针对俄语语音进行情感分类，包括中性、愤怒、积极、悲伤等情感类别。
• 良好的性能指标：在测试集上取得了较高的准确率、平衡指标和宏F1分数。

📦 安装指南

文档未提及安装步骤，暂不提供相关内容。

💻 使用示例

基础用法

from transformers import HubertForSequenceClassification, Wav2Vec2FeatureExtractor
import torchaudio
import torch

feature_extractor = Wav2Vec2FeatureExtractor.from_pretrained("facebook/hubert-large-ls960-ft")
model = HubertForSequenceClassification.from_pretrained("xbgoose/hubert-speech-emotion-recognition-russian-dusha-finetuned")
num2emotion = {0: 'neutral', 1: 'angry', 2: 'positive', 3: 'sad', 4: 'other'}

filepath = "path/to/audio.wav"

waveform, sample_rate = torchaudio.load(filepath, normalize=True)
transform = torchaudio.transforms.Resample(sample_rate, 16000)
waveform = transform(waveform)

inputs = feature_extractor(
        waveform, 
        sampling_rate=feature_extractor.sampling_rate, 
        return_tensors="pt",
        padding=True,
        max_length=16000 * 10,
        truncation=True
    )

logits = model(inputs['input_values'][0]).logits
predictions = torch.argmax(logits, dim=-1)
predicted_emotion = num2emotion[predictions.numpy()[0]]
print(predicted_emotion)

📚 详细文档

微调过程

• 微调环境：在Google Colab中使用Pro账户和A100 GPU进行微调。
• 冻结层设置：除了投影层、分类器和所有24个 HubertEncoderLayerStableLayerNorm 层外，冻结了所有层。
• 数据集使用：使用了训练数据集的一半。

训练参数

• 训练轮数：2个epoch
• 训练批次大小：8
• 评估批次大小：8
• 梯度累积步数：4
• 学习率：5e-5，无热身和衰减

评估指标

在测试集上取得了以下指标：

• 准确率：0.86
• 平衡指标：0.76
• 宏F1分数：0.81 与数据集基线相比，准确率和F1分数都有所提高。

🔧 技术细节

本项目基于预训练的 facebook/hubert-large-ls960-ft 模型进行微调，通过冻结部分层和调整训练参数，使其适应俄语语音情感识别任务。在微调过程中，使用了Google Colab的A100 GPU加速训练，并对模型的投影层、分类器和 HubertEncoderLayerStableLayerNorm 层进行了训练。

📄 许可证

本项目使用Apache 2.0许可证。