Speech Emotion Recognition With Facebook Wav2vec2 Large Xlsr 53

🚀 🎧 音声感情認識 with Wav2Vec2

このプロジェクトは、Wav2Vec2 モデルを活用して音声の感情を認識します。目的は、音声録音を Happy、Sad、Surprised などの異なる感情カテゴリに分類することです。

🚀 クイックスタート

この音声感情認識モデルを使用するには、以下の手順に従ってください。まず、必要なライブラリをインポートし、モデルと特徴抽出器を読み込みます。その後、音声ファイルを前処理し、感情を予測します。

from transformers import AutoModelForAudioClassification, AutoFeatureExtractor
import librosa
import torch
import numpy as np

model_id = "firdhokk/speech-emotion-recognition-with-facebook-wav2vec2-large-xlsr-53"
model = AutoModelForAudioClassification.from_pretrained(model_id)

feature_extractor = AutoFeatureExtractor.from_pretrained(model_id, do_normalize=True, return_attention_mask=True)
id2label = model.config.id2label

def preprocess_audio(audio_path, feature_extractor, max_duration=30.0):
    audio_array, sampling_rate = librosa.load(audio_path, sr=feature_extractor.sampling_rate)
    
    max_length = int(feature_extractor.sampling_rate * max_duration)
    if len(audio_array) > max_length:
        audio_array = audio_array[:max_length]
    else:
        audio_array = np.pad(audio_array, (0, max_length - len(audio_array)))

    inputs = feature_extractor(
        audio_array,
        sampling_rate=feature_extractor.sampling_rate,
        max_length=max_length,
        truncation=True,
        return_attention_mask=True,
        return_tensors="pt",
    )
    return inputs

def predict_emotion(audio_path, model, feature_extractor, id2label, max_duration=30.0):
    inputs = preprocess_audio(audio_path, feature_extractor, max_duration)
    
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    model = model.to(device)
    inputs = {key: value.to(device) for key, value in inputs.items()}

    with torch.no_grad():
        outputs = model(**inputs)

    logits = outputs.logits
    predicted_id = torch.argmax(logits, dim=-1).item()
    predicted_label = id2label[predicted_id]
    
    return predicted_label

audio_path = "/content/drive/MyDrive/Audio/Speech_URDU/Happy/SM5_F4_H058.wav"

predicted_emotion = predict_emotion(audio_path, model, feature_extractor, id2label)
print(f"Predicted Emotion: {predicted_emotion}")

✨ 主な機能

• 音声感情認識：音声データから感情を高精度に認識し、異なる感情カテゴリに分類します。
• 多様なデータセット対応：複数のデータセットを用いて学習されており、多様な音声データに対応します。
• 高精度な評価指標：Accuracy、Precision、Recall、F1 Scoreなどの評価指標が高く、性能が優れています。

📦 インストール

このモデルを使用するには、以下のライブラリが必要です。

必要なライブラリ

📚 ドキュメント

🗂 データセット

学習と評価に使用されるデータセットは、複数のデータセットから収集されており、以下のものが含まれます。

• RAVDESS
• SAVEE
• TESS
• URDU

データセットには、様々な感情でラベル付けされた録音が含まれています。以下は、データセット内の感情の分布です。

この分布は、データセット内の感情のバランスを反映しており、一部の感情は他の感情よりもサンプル数が多いことがわかります。学習時には、サンプル数が少ない "calm" 感情は除外されました。

🎤 前処理

• 音声読み込み：Librosa を使用して音声ファイルを読み込み、numpy配列に変換します。
• 特徴抽出：音声データは、Wav2Vec2 Feature Extractor を使用して処理され、モデルへの入力用に音声特徴が標準化および正規化されます。

🔧 モデル

使用されるモデルは、Wav2Vec2 Large XLR-53 モデルで、音声分類 タスク用にファインチューニングされています。

• モデル：facebook/wav2vec2-large-xlsr-53
• 出力：感情ラベル (Angry, Disgust, Fearful, Happy, Neutral, Sad, Surprised)

感情ラベルは数値IDにマッピングされ、モデルの学習と評価に使用されます。

⚙️ 学習

モデルは、以下のパラメータで学習されます。

• 学習率：5e-05
• 学習バッチサイズ：2
• 評価バッチサイズ：2
• 乱数シード：42
• 勾配累積ステップ：5
• 総学習バッチサイズ：10（勾配累積後の実効バッチサイズ）
• オプティマイザ：Adam（betas=(0.9, 0.999)、epsilon=1e-08）
• 学習率スケジューラ：linear
• 学習率スケジューラのウォームアップ率：0.1
• エポック数：25
• 混合精度学習：Native AMP (Automatic Mixed Precision)

これらのパラメータは、特に Wav2Vec2 のような大規模データセットと深層モデルを扱う場合に、効率的なモデル学習と安定性を保証します。学習には、実験の追跡とモニタリングに Wandb が利用されています。

📊 評価指標

モデルの学習後に得られた評価指標は以下の通りです。

• Loss：0.4989
• Accuracy：0.9168
• Precision：0.9209
• Recall：0.9168
• F1 Score：0.9166

これらの指標は、音声感情認識タスクにおけるモデルの性能を示しています。Accuracy、Precision、Recall、F1 Scoreの値が高いことから、モデルは音声データから感情状態を効果的に識別できていることがわかります。

🧪 結果

学習後、モデルはテストデータセットで評価され、結果は このリンク の Wandb を使用してモニタリングされています。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。