wav2vec2-base-finetuned-sentiment-classification-MESDオープンソースモデル - スペイン語の音声を精度よく感情分類する

ホーム

Wav2vec2 Base Finetuned Sentiment Classification MESD

somosnlp-hackathon-2022によって開発

wav2vec2-baseをファインチューニングしたスペイン語の音声感情分類モデルで、精度は93.08%

音声分類

Transformers

オープンソースライセンス:Apache-2.0 #スペイン語感情認識 #高精度音声分類 #セキュリティイベント検出

ダウンロード数 498

リリース時間 : 3/29/2022

モデル概要

このモデルはfacebook/wav2vec2-baseをベースに、MESDスペイン語感情データセットでファインチューニングされた音声感情分類器で、音声内の感情状態を識別するために特別に設計されています。

モデル特徴

高精度

評価セットで93.08%の分類精度を達成

スペイン語最適化

スペイン語の音声データに特化してファインチューニング

軽量ベース

wav2vec2-baseアーキテクチャを採用し、性能と効率のバランスを実現

モデル能力

スペイン語の音声感情認識

音声特徴抽出

感情状態分類

使用事例

健康と福祉

感情認識メディア推薦

ユーザーの音声感情を分析して適切なメディアコンテンツを推薦し、メンタルヘルスを促進

国連持続可能な開発目標SDG 3をサポート

公共安全

異常イベント検出

喧嘩などの緊急イベントにおける異常な音声特徴を識別

国連持続可能な開発目標SDG 16をサポート

🚀 wav2vec2-base-finetuned-sentiment-mesd-v11

このモデルは、MESD データセットで facebook/wav2vec2-base をファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失: 0.3071
正解率: 0.9308

✨ 主な機能

モデルの説明

このモデルは、スペイン語のオーディオや音声の潜在的な感情を分類するために学習されました。

想定される用途

ユーザーの音声や聴覚環境を通じて検出されたムードや嗜好に基づいて、オーディオライブラリやその他のメディアを提示、推薦、分類することができます。さらに、ムード照明システムを実装して、ユーザーの環境をより使いやすくし、ユーザーのメンタルヘルスや全体的な幸福に少しでも貢献することができます。 [SDG目標3]
また、このモデルは、より多くのクラスラベルを持つデータで学習することで、特に喧嘩やその他の不穏なシナリオの検出に役立つようになります。音声分類器を監視システムに組み込んで、喧嘩やその他の「音」で認識できる不穏なイベントを検出することができます。 [SDG目標16]

制限事項

オープンソースのMESDデータセットを使用してWav2Vec2ベースモデルをファインチューニングしましたが、このデータセットには約1200のオーディオ録音が含まれており、すべてがプロのスタジオで録音され、長さは1秒でした。約1200のオーディオ録音のうち、890の録音のみが学習に使用されました。これらの要因により、このモデルおよびGradioアプリケーションは、ノイズの多い環境や、背景音楽やノイズのあるオーディオではうまく機能しない可能性があります。また、このモデルは「恐怖」クラスのオーディオ録音に対しては性能が低く、誤分類することが多いことも指摘しておきます。

📚 ドキュメント

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

learning_rate: 0.0001
train_batch_size: 64
eval_batch_size: 40
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 256
optimizer: Adam (betas=(0.9,0.999), epsilon=1e-08)
lr_scheduler_type: linear
num_epochs: 100

学習結果

学習損失	エポック	ステップ	検証損失	正解率
No log	0.86	3	1.7516	0.3846
1.9428	1.86	6	1.6859	0.4308
1.9428	2.86	9	1.5575	0.4692
1.9629	3.86	12	1.4160	0.4846
1.5678	4.86	15	1.2979	0.5308
1.5678	5.86	18	1.2294	0.5308
1.4728	6.86	21	1.0703	0.5923
1.4728	7.86	24	0.9926	0.6308
1.2588	8.86	27	0.9202	0.6846
0.991	9.86	30	0.8537	0.6846
0.991	10.86	33	0.8816	0.6769
0.9059	11.86	36	0.7149	0.7769
0.9059	12.86	39	0.7676	0.7462
0.7901	13.86	42	0.6971	0.7538
0.6278	14.86	45	0.6671	0.7923
0.6278	15.86	48	0.5681	0.8231
0.5678	16.86	51	0.5535	0.8154
0.5678	17.86	54	0.5947	0.8077
0.5157	18.86	57	0.6396	0.7692
0.4189	19.86	60	0.5291	0.8077
0.4189	20.86	63	0.4600	0.8538
0.3885	21.86	66	0.5188	0.8308
0.3885	22.86	69	0.5959	0.7923
0.3255	23.86	72	0.5240	0.8462
0.2711	24.86	75	0.5105	0.8385
0.2711	25.86	78	0.5177	0.8231
0.2748	26.86	81	0.3302	0.8923
0.2748	27.86	84	0.4774	0.8538
0.2379	28.86	87	0.4204	0.8769
0.1982	29.86	90	0.6540	0.7692
0.1982	30.86	93	0.5664	0.8308
0.2171	31.86	96	0.5100	0.8462
0.2171	32.86	99	0.3924	0.8769
0.17	33.86	102	0.6002	0.8231
0.1761	34.86	105	0.4364	0.8538
0.1761	35.86	108	0.4166	0.8692
0.1703	36.86	111	0.4374	0.8692
0.1703	37.86	114	0.3872	0.8615
0.1569	38.86	117	0.3941	0.8538
0.1149	39.86	120	0.4004	0.8538
0.1149	40.86	123	0.4360	0.8385
0.1087	41.86	126	0.4387	0.8615
0.1087	42.86	129	0.4352	0.8692
0.1039	43.86	132	0.4018	0.8846
0.099	44.86	135	0.4019	0.8846
0.099	45.86	138	0.4083	0.8923
0.1043	46.86	141	0.4594	0.8692
0.1043	47.86	144	0.4478	0.8769
0.0909	48.86	147	0.5025	0.8538
0.1024	49.86	150	0.5442	0.8692
0.1024	50.86	153	0.3827	0.8769
0.1457	51.86	156	0.6816	0.8231
0.1457	52.86	159	0.3435	0.8923
0.1233	53.86	162	0.4418	0.8769
0.101	54.86	165	0.4629	0.8846
0.101	55.86	168	0.4616	0.8692
0.0969	56.86	171	0.3608	0.8923
0.0969	57.86	174	0.4867	0.8615
0.0981	58.86	177	0.4493	0.8692
0.0642	59.86	180	0.3841	0.8538
0.0642	60.86	183	0.4509	0.8769
0.0824	61.86	186	0.4477	0.8769
0.0824	62.86	189	0.4649	0.8615
0.0675	63.86	192	0.3492	0.9231
0.0839	64.86	195	0.3763	0.8846
0.0839	65.86	198	0.4475	0.8769
0.0677	66.86	201	0.4104	0.8923
0.0677	67.86	204	0.3071	0.9308
0.0626	68.86	207	0.3598	0.9077
0.0412	69.86	210	0.3771	0.8923
0.0412	70.86	213	0.4043	0.8846
0.0562	71.86	216	0.3696	0.9077
0.0562	72.86	219	0.3295	0.9077
0.0447	73.86	222	0.3616	0.8923
0.0727	74.86	225	0.3495	0.8923
0.0727	75.86	228	0.4330	0.8846
0.0576	76.86	231	0.5179	0.8923
0.0576	77.86	234	0.5544	0.8846
0.0489	78.86	237	0.4630	0.9
0.0472	79.86	240	0.4513	0.9
0.0472	80.86	243	0.4207	0.9077
0.0386	81.86	246	0.4118	0.8769
0.0386	82.86	249	0.4764	0.8769
0.0372	83.86	252	0.4167	0.8769
0.0344	84.86	255	0.3744	0.9077
0.0344	85.86	258	0.3712	0.9077
0.0459	86.86	261	0.4249	0.8846
0.0459	87.86	264	0.4687	0.8846
0.0364	88.86	267	0.4194	0.8923
0.0283	89.86	270	0.3963	0.8923
0.0283	90.86	273	0.3982	0.8923
0.0278	91.86	276	0.3838	0.9077
0.0278	92.86	279	0.3731	0.9
0.0352	93.86	282	0.3736	0.9
0.0297	94.86	285	0.3702	0.9
0.0297	95.86	288	0.3521	0.9154
0.0245	96.86	291	0.3522	0.9154
0.0245	97.86	294	0.3600	0.9077
0.0241	98.86	297	0.3636	0.9077
0.0284	99.86	300	0.3639	0.9077