Wav2vec2 Xlsr English Speech Emotion Recognition

🚀 英語音声の感情認識モデル（RAVDESSとWav2Vec 2.0を使用）

このモデルは、音声録音から感情を抽出することができます。英語の音声録音を含むRAVDESSデータセットで学習され、怒り、嫌悪、恐怖、幸福、悲しみ、驚きの6つの感情を認識します。このモデルは、事前学習済みのWav2Vec2モデルを使用してデータを処理し、ギリシャ語の感情抽出器の手法を再現しています。

🚀 クイックスタート

以下のコードを使用して、モデルを始めることができます。 [詳細情報が必要]

✨ 主な機能

• 英語の音声録音から6つの感情を認識することができます。
• 事前学習済みのWav2Vec2モデルを使用してデータを処理します。

📚 ドキュメント

モデルの詳細

• 適応元: Emotion Recognition in Greek
• モデルタイプ: NN with CTC
• 言語: 英語
• ファインチューニング元のモデル: wav2vec2

学習の詳細

学習データ

RAVDESSデータセットは、それぞれ60、20、20の比率で学習セット、検証セット、テストセットに分割されました。

学習手順

ファインチューニングのプロセスは、4つのハイパーパラメータを中心に行われました。

• バッチ数 (4, 8)
• 勾配累積ステップ (GAS) (2, 4, 6, 8)
• エポック数 (10, 20)
• 学習率 (1e-3, 1e-4, 1e-5)

各実験は10回繰り返されました。

評価

最良のパフォーマンスをもたらすハイパーパラメータセットは、4バッチ、4 GAS、10エポック、学習率1e-4です。

テスト

モデルは、最良のハイパーパラメータセットを使用して学習セットと検証セットを組み合わせたデータで再学習されました。テストセットでのパフォーマンスは、平均AccuracyとF1スコアがそれぞれ84.84%（SD 2と2.08）です。

結果

10回の実行の中で最も高いパフォーマンスを示したモデルが採用されました。