wav2vec2-base-ft-cv3-v3オープンソース音声認識モデル - 低エラー率で英语の音声を精度よく認識

ホーム

Wav2vec2 Base Ft Cv3 V3

danieleV9Hによって開発

このモデルはfacebook/wav2vec2-baseをCommon Voice 3.0英語データセットで微調整した音声認識モデルで、テストセットで0.247の単語誤り率を達成しました。

音声認識

Transformers

オープンソースライセンス:Apache-2.0 #音声認識 #英語専用 #低単語誤り率

ダウンロード数 120

リリース時間 : 6/25/2022

モデル概要

英語音声認識用の微調整モデルで、wav2vec2アーキテクチャに基づき、Common Voiceデータセットでトレーニングされています。

モデル特徴

低単語誤り率

Common Voiceテストセットで0.247の単語誤り率を達成し、良好な性能を示しています。

wav2vec2アーキテクチャベース

Facebookのwav2vec2-baseをベースモデルとして採用し、強力な音声特徴抽出能力を有しています。

線形学習率スケジューリング

トレーニングプロセスで線形学習率スケジューリング戦略を使用し、モデルの安定した収束を支援します。

モデル能力

英語音声認識

音声からテキストへの変換

使用事例

音声文字起こし

音声メモの文字起こし

ユーザーの音声メモを自動的にテキストに変換

約75.3%の精度（1-WERに基づく計算）

会議議事録

会議の音声記録を自動的にテキスト版に変換

🚀 wav2vec2-base-ft-cv3-v3

このモデルは、facebook/wav2vec2-base を "mozilla-foundation/common_voice_3_0 english" データセットでファインチューニングしたバージョンです。トレーニングには "train" と "validation" の分割データを使用し、検証には "test" 分割データを使用しています。評価セットでは以下の結果を達成しています。

損失: 0.5787
単語誤り率 (Wer): 0.2470

📚 ドキュメント

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

学習率 (learning_rate): 5e-05
トレーニングバッチサイズ (train_batch_size): 16
評価バッチサイズ (eval_batch_size): 16
シード (seed): 42
オプティマイザ (optimizer): Adam (betas=(0.9,0.999), epsilon=1e-08)
学習率スケジューラのタイプ (lr_scheduler_type): 線形 (linear)
エポック数 (num_epochs): 12
混合精度トレーニング (mixed_precision_training): Native AMP

トレーニング結果

トレーニング損失	エポック	ステップ	検証損失	単語誤り率 (Wer)
3.5935	0.1	500	3.0085	1.0
1.6296	0.21	1000	1.0879	0.5895
0.7154	0.31	1500	0.8224	0.4839
0.6387	0.42	2000	0.7290	0.4302
0.5322	0.52	2500	0.6864	0.4044
0.497	0.63	3000	0.6294	0.3746
0.4659	0.73	3500	0.6388	0.3745
0.4452	0.84	4000	0.6122	0.3570
0.4356	0.94	4500	0.5770	0.3443
0.3976	1.05	5000	0.6145	0.3296
0.3767	1.15	5500	0.6099	0.3325
0.3704	1.25	6000	0.5998	0.3263
0.3541	1.36	6500	0.6070	0.3250
0.3592	1.46	7000	0.6076	0.3352
0.3508	1.57	7500	0.5712	0.3239
0.3437	1.67	8000	0.5729	0.3202
0.352	1.78	8500	0.5465	0.3100
0.34	1.88	9000	0.5418	0.3059
0.4086	1.99	9500	0.5189	0.3053
0.2968	2.09	10000	0.5373	0.3076
0.2968	2.2	10500	0.5602	0.3061
0.2956	2.3	11000	0.5651	0.3051
0.2863	2.41	11500	0.5476	0.2982
0.2852	2.51	12000	0.5579	0.2954
0.292	2.61	12500	0.5451	0.2953
0.2877	2.72	13000	0.5468	0.2905
0.285	2.82	13500	0.5283	0.2908
0.2872	2.93	14000	0.5240	0.2867
0.3286	3.03	14500	0.5078	0.2846
0.2526	3.14	15000	0.5373	0.2836
0.2494	3.24	15500	0.5566	0.2861
0.2534	3.35	16000	0.5378	0.2859
0.2435	3.45	16500	0.5225	0.2813
0.3144	3.56	17000	0.5203	0.2808
0.2501	3.66	17500	0.5176	0.2785
0.2469	3.76	18000	0.5022	0.2795
0.242	3.87	18500	0.5228	0.2757
0.242	3.97	19000	0.5024	0.2788
0.2205	4.08	19500	0.5318	0.2729
0.2149	4.18	20000	0.5492	0.2763
0.2186	4.29	20500	0.5599	0.2769
0.2191	4.39	21000	0.5493	0.2695
0.218	4.5	21500	0.5385	0.2709
0.2046	4.6	22000	0.5326	0.2718
0.2064	4.71	22500	0.5591	0.2725
0.2066	4.81	23000	0.5283	0.2700
0.2102	4.92	23500	0.5456	0.2713
0.3345	5.02	24000	0.5474	0.2698
0.1891	5.12	24500	0.5466	0.2672
0.1954	5.23	25000	0.5691	0.2731
0.1971	5.33	25500	0.5595	0.2741
0.1995	5.44	26000	0.5609	0.2716
0.1911	5.54	26500	0.5513	0.2684
0.1954	5.65	27000	0.5282	0.2683
0.193	5.75	27500	0.5460	0.2644
0.1974	5.86	28000	0.5415	0.2650
0.1947	5.96	28500	0.5227	0.2656
0.1836	6.07	29000	0.5361	0.2743
0.1741	6.17	29500	0.5637	0.2649
0.1776	6.27	30000	0.5705	0.2680
0.1747	6.38	30500	0.5587	0.2667
0.1761	6.48	31000	0.5480	0.2683
0.1715	6.59	31500	0.5547	0.2627
0.2424	6.69	32000	0.5254	0.2610
0.1756	6.8	32500	0.5301	0.2633
0.1761	6.9	33000	0.5267	0.2658
0.1751	7.01	33500	0.5611	0.2677
0.1653	7.11	34000	0.5617	0.2663
0.1591	7.22	34500	0.5435	0.2642
0.1559	7.32	35000	0.5608	0.2611
0.1604	7.43	35500	0.5477	0.2611
0.162	7.53	36000	0.5257	0.2559
0.1579	7.63	36500	0.5398	0.2570
0.162	7.74	37000	0.5566	0.2605
0.2351	7.84	37500	0.5371	0.2564
0.1566	7.95	38000	0.5507	0.2565
0.1515	8.05	38500	0.5640	0.2544
0.1459	8.16	39000	0.5739	0.2523
0.1463	8.26	39500	0.5596	0.2522
0.1466	8.37	40000	0.5522	0.2537
0.2372	8.47	40500	0.5567	0.2520
0.1488	8.58	41000	0.5546	0.2506
0.1492	8.68	41500	0.5533	0.2518
0.1454	8.78	42000	0.5488	0.2508
0.148	8.89	42500	0.5635	0.2526
0.1424	8.99	43000	0.5513	0.2509
0.1356	9.1	43500	0.5534	0.2527
0.1346	9.2	44000	0.5735	0.2497
0.1346	9.31	44500	0.5710	0.2489
0.1401	9.41	45000	0.5561	0.2491
0.2212	9.52	45500	0.5564	0.2482
0.1369	9.62	46000	0.5658	0.2484
0.1323	9.73	46500	0.5582	0.2495
0.1369	9.83	47000	0.5560	0.2503
0.1368	9.94	47500	0.5552	0.2489
0.1333	10.04	48000	0.5953	0.2491
0.1305	10.14	48500	0.5818	0.2520
0.1316	10.25	49000	0.5773	0.2506
0.1334	10.35	49500	0.5882	0.2485
0.1351	10.46	50000	0.5750	0.2483
0.1337	10.56	50500	0.5910	0.2486
0.2241	10.67	51000	0.5732	0.2491
0.1327	10.77	51500	0.5839	0.2493
0.1364	10.88	52000	0.5724	0.2464
0.1305	10.98	52500	0.5758	0.2468
0.128	11.09	53000	0.5811	0.2482
0.1267	11.19	53500	0.5903	0.2483
0.1262	11.29	54000	0.5792	0.2483
0.1291	11.4	54500	0.5735	0.2497
0.1228	11.5	55000	0.5920	0.2494
0.1249	11.61	55500	0.5907	0.2488
0.1266	11.71	56000	0.5786	0.2486
0.1235	11.82	56500	0.5790	0.2473
0.1243	11.92	57000	0.5787	0.2470