Speech Emotion Recognition Wav2vec2 Large Xlsr 53 240304 SER Fine Tuned2.0

🚀 SER_wav2vec2-large-xlsr-53_240304_fine-tuned_2

このモデルは、Speech Emotion Recognition (en) データセット上で hughlan1214/SER_wav2vec2-large-xlsr-53_240304_fine-tuned1.1 をファインチューニングしたバージョンです。

このデータセットには、英語の最も人気のある4つのデータセット（Crema、Ravdess、Savee、Tess）が含まれており、合計で12,000を超える .wav オーディオファイルが含まれています。これら4つのデータセットのそれぞれには、6から8の異なる感情ラベルが含まれています。

このモデルは、評価セットで以下の結果を達成しています。

• 損失: 1.0601
• 正解率: 0.6731
• 適合率: 0.6761
• 再現率: 0.6794
• F1値: 0.6738

🚀 クイックスタート

このモデルは、音声に含まれる感情を高精度に予測するために開発されました。以下のセクションでは、モデルの詳細、使用目的、トレーニングデータ、トレーニング手順について説明します。

✨ 主な機能

• 音声に含まれる7種類の感情を予測することができます。
• 英語のデータセットでトレーニングされていますが、中国語やフランス語の感情予測にも良好な性能を発揮します。

📚 ドキュメント

モデルの説明

このモデルは、facebook/wav2vec2-large-xlsr-53 を使用して特徴抽出を行い、数ラウンドのファインチューニングを経て得られました。音声に含まれる7種類の感情を予測し、視覚レベルでの人間のマイクロ表情やLLMS下のコンテキストセマンティクスを用いてユーザーの感情をリアルタイムに推測するための基礎を築くことを目指しています。

モデルは純粋な英語のデータセットでトレーニングされていますが、リリース後のテストでは、中国語やフランス語の感情予測にも良好な性能を発揮しており、facebook/wav2vec2-large-xlsr-53 事前学習モデルの強力なクロス言語能力を示しています。

emotions = ['angry', 'disgust', 'fear', 'happy', 'neutral', 'sad', 'surprise']

想定される使用目的と制限

詳細情報は後日提供予定です。

トレーニングと評価データ

データセット全体の70/30を使用しました。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 4
• seed: 42
• optimizer: Adam (betas=(0.9,0.999), epsilon=1e-08)
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 10

トレーニング結果

フレームワークバージョン

• Transformers 4.38.1
• Pytorch 2.2.1
• Datasets 2.17.1
• Tokenizers 0.15.2

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。