wav2vec2-base-Speech_Emotion_Recognitionオープンソースモデル - 音声の話者の感情を高精度で予測

ホーム

Wav2vec2 Base Speech Emotion Recognition

DunnBC22によって開発

facebook/wav2vec2-baseをファインチューニングした音声感情認識モデルで、音声サンプル中の話者の感情を予測します。

音声分類

Transformers

英語オープンソースライセンス:Apache-2.0 #音声感情分析 #英語音声処理 #wav2vec2ファインチューニング

ダウンロード数 128

リリース時間 : 4/17/2023

モデル概要

このモデルは音声信号を分析して話者の感情状態を識別し、感情分析や人間とコンピュータのインタラクションなどのシナリオに適しています。

モデル特徴

高精度

評価データセットで75.39%の精度を達成し、様々な感情状態を効果的に識別できます。

多指標最適化

F1値、再現率、適合率などの複数の指標を同時に最適化し、モデルの性能バランスを確保します。

wav2vec2ベース

facebook/wav2vec2-baseをファインチューニングしており、その強力な音声特徴抽出能力を継承しています。

モデル能力

音声感情認識

音声分類

感情分析

使用事例

人間とコンピュータのインタラクション

インテリジェントカスタマーサポート感情分析

顧客の音声から感情状態を分析し、カスタマーサポートのサービス品質を向上させます。

メンタルヘルス

感情状態モニタリング

音声分析を通じてユーザーの感情変化を監視し、メンタルヘルスの補助診断に役立てます。

🚀 wav2vec2-base-Speech_Emotion_Recognition

このモデルは、音声サンプル内の話者の感情を予測するモデルです。技術を用いて複雑な問題を解決する能力を示すために作成されました。

🚀 クイックスタート

このモデルは、facebook/wav2vec2-base をファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失: 0.7264
正解率: 0.7539
F1
- 重み付き: 0.7514
- マイクロ: 0.7539
- マクロ: 0.7529
再現率
- 重み付き: 0.7539
- マイクロ: 0.7539
- マクロ: 0.7577
適合率
- 重み付き: 0.7565
- マイクロ: 0.7539
- マクロ: 0.7558

✨ 主な機能

このモデルは、音声サンプル内の話者の感情を予測します。作成方法の詳細については、以下のリンクを参照してください。https://github.com/DunnBC22/Vision_Audio_and_Multimodal_Projects/tree/main/Audio-Projects/Emotion%20Detection/Speech%20Emotion%20Detection

📚 ドキュメント

想定される用途と制限

このモデルは、技術を用いて複雑な問題を解決する私の能力を示すことを目的としています。

学習と評価データ

データセットのソース: https://www.kaggle.com/datasets/dmitrybabko/speech-emotion-recognition-en

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

学習率: 3e-05
学習バッチサイズ: 32
評価バッチサイズ: 32
シード: 42
勾配累積ステップ: 4
総学習バッチサイズ: 128
オプティマイザ: ベータ=(0.9,0.999)、イプシロン=1e-08 の Adam
学習率スケジューラタイプ: 線形
学習率スケジューラウォームアップ比率: 0.1
エポック数: 10

学習結果

学習損失	エポック	ステップ	検証損失	正解率	重み付きF1	マイクロF1	マクロF1	重み付き再現率	マイクロ再現率	マクロ再現率	重み付き適合率	マイクロ適合率	マクロ適合率
1.5581	0.98	43	1.4046	0.4653	0.4080	0.4653	0.4174	0.4653	0.4653	0.4793	0.5008	0.4653	0.4974
1.5581	1.98	86	1.1566	0.5997	0.5836	0.5997	0.5871	0.5997	0.5997	0.6093	0.6248	0.5997	0.6209
1.5581	2.98	129	0.9733	0.6883	0.6845	0.6883	0.6860	0.6883	0.6883	0.6923	0.7012	0.6883	0.7009
1.5581	3.98	172	0.8313	0.7399	0.7392	0.7399	0.7409	0.7399	0.7399	0.7417	0.7415	0.7399	0.7432
1.5581	4.98	215	0.8708	0.7028	0.6963	0.7028	0.6970	0.7028	0.7028	0.7081	0.7148	0.7028	0.7114
1.5581	5.98	258	0.7969	0.7297	0.7267	0.7297	0.7277	0.7297	0.7297	0.7333	0.7393	0.7297	0.7382
1.5581	6.98	301	0.7349	0.7603	0.7613	0.7603	0.7631	0.7603	0.7603	0.7635	0.7699	0.7603	0.7702
1.5581	7.98	344	0.7714	0.7469	0.7444	0.7469	0.7456	0.7469	0.7469	0.7485	0.7554	0.7469	0.7563
1.5581	8.98	387	0.7183	0.7630	0.7615	0.7630	0.7631	0.7630	0.7630	0.7652	0.7626	0.7630	0.7637
1.5581	9.98	430	0.7264	0.7539	0.7514	0.7539	0.7529	0.7539	0.7539	0.7577	0.7565	0.7539	0.7558