Hubert Large Speech Emotion Recognition Russian Dusha Finetuned

🚀 HuBERT在DUSHA數據集上微調用於俄語語音情感識別

本項目使用預訓練模型 facebook/hubert-large-ls960-ft，並在DUSHA數據集上進行微調，以實現俄語語音情感識別。DUSHA數據集可在 此處 找到。

✨ 主要特性

• 基於預訓練模型：使用 facebook/hubert-large-ls960-ft 作為基礎模型，充分利用其特徵提取能力。
• 俄語語音情感識別：專門針對俄語語音進行情感分類，包括中性、憤怒、積極、悲傷等情感類別。
• 良好的性能指標：在測試集上取得了較高的準確率、平衡指標和宏F1分數。

📦 安裝指南

文檔未提及安裝步驟，暫不提供相關內容。

💻 使用示例

基礎用法

from transformers import HubertForSequenceClassification, Wav2Vec2FeatureExtractor
import torchaudio
import torch

feature_extractor = Wav2Vec2FeatureExtractor.from_pretrained("facebook/hubert-large-ls960-ft")
model = HubertForSequenceClassification.from_pretrained("xbgoose/hubert-speech-emotion-recognition-russian-dusha-finetuned")
num2emotion = {0: 'neutral', 1: 'angry', 2: 'positive', 3: 'sad', 4: 'other'}

filepath = "path/to/audio.wav"

waveform, sample_rate = torchaudio.load(filepath, normalize=True)
transform = torchaudio.transforms.Resample(sample_rate, 16000)
waveform = transform(waveform)

inputs = feature_extractor(
        waveform, 
        sampling_rate=feature_extractor.sampling_rate, 
        return_tensors="pt",
        padding=True,
        max_length=16000 * 10,
        truncation=True
    )

logits = model(inputs['input_values'][0]).logits
predictions = torch.argmax(logits, dim=-1)
predicted_emotion = num2emotion[predictions.numpy()[0]]
print(predicted_emotion)

📚 詳細文檔

微調過程

• 微調環境：在Google Colab中使用Pro賬戶和A100 GPU進行微調。
• 凍結層設置：除了投影層、分類器和所有24個 HubertEncoderLayerStableLayerNorm 層外，凍結了所有層。
• 數據集使用：使用了訓練數據集的一半。

訓練參數

• 訓練輪數：2個epoch
• 訓練批次大小：8
• 評估批次大小：8
• 梯度累積步數：4
• 學習率：5e-5，無熱身和衰減

評估指標

在測試集上取得了以下指標：

• 準確率：0.86
• 平衡指標：0.76
• 宏F1分數：0.81 與數據集基線相比，準確率和F1分數都有所提高。

🔧 技術細節

本項目基於預訓練的 facebook/hubert-large-ls960-ft 模型進行微調，通過凍結部分層和調整訓練參數，使其適應俄語語音情感識別任務。在微調過程中，使用了Google Colab的A100 GPU加速訓練，並對模型的投影層、分類器和 HubertEncoderLayerStableLayerNorm 層進行了訓練。

📄 許可證

本項目使用Apache 2.0許可證。