Wav2vec2 Lg Xlsr En Speech Emotion Recognition

🚀 Wav2Vec 2.0をファインチューニングした音声感情認識モデル

このモデルは、音声感情認識（SER）タスクのためにjonatasgrosman/wav2vec2-large-xlsr-53-englishをファインチューニングしたバージョンです。

元の事前学習モデルをファインチューニングするために使用されたデータセットはRAVDESSデータセットです。このデータセットは、英語で8種類の感情を演じる俳優の録音サンプルを1440個提供しています。感情の種類は以下の通りです。

emotions = ['angry', 'calm', 'disgust', 'fearful', 'happy', 'neutral', 'sad', 'surprised']

評価セットでは、以下の結果を達成しています。

• 損失: 0.5023
• 正解率: 0.8223

📚 モデルの詳細

詳細情報は後日提供予定です。

📋 想定用途と制限事項

詳細情報は後日提供予定です。

📊 学習と評価データ

詳細情報は後日提供予定です。

🛠️ 学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 0.0001
• train_batch_size: 4
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 8
• optimizer: Adam（betas=(0.9,0.999)、epsilon=1e-08）
• lr_scheduler_type: linear
• num_epochs: 3
• mixed_precision_training: Native AMP

学習結果

📄 引用情報

@misc {enrique_hernández_calabrés_2024,
	author       = { {Enrique Hernández Calabrés} },
	title        = { wav2vec2-lg-xlsr-en-speech-emotion-recognition (Revision 17cf17c) },
	year         = 2024,
	url          = { https://huggingface.co/ehcalabres/wav2vec2-lg-xlsr-en-speech-emotion-recognition },
	doi          = { 10.57967/hf/2045 },
	publisher    = { Hugging Face }
}

📞 問い合わせ

何か疑問があれば、Twitterで私に連絡してください。

フレームワークのバージョン

• Transformers 4.8.2
• Pytorch 1.9.0+cu102
• Datasets 1.9.0
• Tokenizers 0.10.3

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。