Wav2vec2 Xls R 300m Pt Br Spontaneous Speech Emotion Recognition

🚀 Wav2vec 2.0 XLS-R 自発的な音声感情認識用

このモデルは、自発的および準備された音声の自動音声認識とポルトガル語における音声感情認識（SE&R 2022）ワークショップの SER トラックで一位を獲得したモデルです。このモデルは、音声データから感情を認識するために使用され、複数の言語のデータセットを用いて訓練されています。

✨ 主な機能

• 自発的な音声から感情を高精度に認識することができます。
• 複数の言語（ポルトガル語、イタリア語、英語、アラビア語）の音声データセットを用いて訓練されています。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

訓練に使用されたデータセット

訓練には以下のデータセットが使用されました：

• CORAA SER v1.0：自発的なポルトガル語の音声から構成されるデータセットで、約40分の音声セグメントが中立、非中立女性、非中立男性の3つのクラスにラベル付けされています。
• EMOVO Corpus：イタリア語の感情的な音声のデータベースで、最大6人の俳優の声から構築され、14の文章を6つの感情状態（嫌悪、恐怖、怒り、喜び、驚き、悲しみ）と中立状態をシミュレートして読み上げています。
• RAVDESS：英語で8つの異なる感情（怒り、落ち着き、嫌悪、恐怖、喜び、中立、悲しみ、驚き）を演じる俳優の録音サンプル1440個を提供するデータセットです。
• BAVED：様々な感情の程度で話されたアラビア語の単語の音声録音のコレクションです。このデータセットには、like、unlike、this、file、good、neutral、badの7つの単語が含まれており、低感情（疲れているまたは気分が落ち込んでいる）、中立感情（話者が日常的に話す方法）、高感情（幸福、喜び、悲しみ、怒りなどの正または負の感情）の3つの感情レベルで話されています。

テストセットには、CORAA SER v1.0の一部が使用されています。

テストセットでの結果

このモデルは、テストセットで以下の結果を達成しています：

• 正解率: 0.9090
• マクロ精度: 0.8171
• マクロ再現率: 0.8397
• マクロF1スコア: 0.8187

データセットの詳細

以下の画像は、データセットの全体的な分布を示しています：

以下の画像は、ラベルごとのインスタンス数を示しています：

リポジトリ

モデルを訓練およびテストするためのリポジトリは、こちらで利用可能です。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。