Hubert Base Ch Speech Emotion Recognition

🚀 hubert-base-ch-speech-emotion-recognition

このモデルは、[TencentGameMate/chinese-hubert-base](TencentGameMate/chinese-hubert-base · Hugging Face) を事前学習モデルとして、CASIAデータセットで学習を行っています。

CASIAデータセットは、中国語で6種類の異なる感情を演じる俳優の録音サンプル1200個を提供しています（公式サイトでは合計9600個のデータが提供されており、私が使用したデータセットは完全ではない可能性があります）。これらの感情は以下の通りです。

emotions = ['anger', 'fear', 'happy', 'neutral', 'sad', 'surprise']

🚀 クイックスタート

💻 使用例

基本的な使用法

import os
import random

import librosa
import torch
import torch.nn as nn
import torch.nn.functional as F
from transformers import AutoConfig, Wav2Vec2FeatureExtractor, HubertPreTrainedModel, HubertModel

model_name_or_path = "xmj2002/hubert-base-ch-speech-emotion-recognition"
duration = 6
sample_rate = 16000

config = AutoConfig.from_pretrained(
    pretrained_model_name_or_path=model_name_or_path,
)


def id2class(id):
    if id == 0:
        return "angry"
    elif id == 1:
        return "fear"
    elif id == 2:
        return "happy"
    elif id == 3:
        return "neutral"
    elif id == 4:
        return "sad"
    else:
        return "surprise"


def predict(path, processor, model):
    speech, sr = librosa.load(path=path, sr=sample_rate)
    speech = processor(speech, padding="max_length", truncation=True, max_length=duration * sr,
                       return_tensors="pt", sampling_rate=sr).input_values
    with torch.no_grad():
        logit = model(speech)
    score = F.softmax(logit, dim=1).detach().cpu().numpy()[0]
    id = torch.argmax(logit).cpu().numpy()
    print(f"file path: {path} \t predict: {id2class(id)} \t score:{score[id]} ")


class HubertClassificationHead(nn.Module):
    def __init__(self, config):
        super().__init__()
        self.dense = nn.Linear(config.hidden_size, config.hidden_size)
        self.dropout = nn.Dropout(config.classifier_dropout)
        self.out_proj = nn.Linear(config.hidden_size, config.num_class)

    def forward(self, x):
        x = self.dense(x)
        x = torch.tanh(x)
        x = self.dropout(x)
        x = self.out_proj(x)
        return x


class HubertForSpeechClassification(HubertPreTrainedModel):
    def __init__(self, config):
        super().__init__(config)
        self.hubert = HubertModel(config)
        self.classifier = HubertClassificationHead(config)
        self.init_weights()

    def forward(self, x):
        outputs = self.hubert(x)
        hidden_states = outputs[0]
        x = torch.mean(hidden_states, dim=1)
        x = self.classifier(x)
        return x


processor = Wav2Vec2FeatureExtractor.from_pretrained(model_name_or_path)
model = HubertForSpeechClassification.from_pretrained(
    model_name_or_path,
    config=config,
)
model.eval()

file_path = [f"test_data/{path}" for path in os.listdir("test_data")]
path = random.sample(file_path, 1)[0]
predict(path, processor, model)

🔧 技術詳細

学習設定

• データセット分割比率: 学習セット: 検証セット: テストセット = 0.6:0.2:0.2
• シード: 34
• バッチサイズ: 36
• 学習率(lr): 2e-4
• オプティマイザ: AdamW(betas=(0.93,0.98), weight_decay=0.2)
• スケジューラ: Step_LR(step_size=10, gamma=0.3)
• 分類器のドロップアウト: 0.1
• オプティマイザのパラメータ:

for name, param in model.named_parameters():
    if "hubert" in name:
        parameter.append({'params': param, 'lr': 0.2 * lr})
    else:
        parameter.append({'params': param, "lr": lr})

評価指標

• 損失(テストセット): 0.1165
• 正解率(テストセット): 0.972

学習セットと検証セットの正解率曲線

学習セットと検証セットの損失曲線

📄 ライセンス

Apache-2.0