オープンソース自動音声認識モデル - 微調整に基づくポルトガル語音声の高精度認識をサポート

ホーム

Output

tonyalvesによって開発

facebook/wav2vec2-xls-r-300mをMozilla Common Voiceポルトガル語データセットでファインチューニングした自動音声認識モデル

音声認識

Transformers

その他オープンソースライセンス:Apache-2.0 #ポルトガル語音声認識 #Wav2Vec2ファインチューニング #低単語誤り率

ダウンロード数 28

リリース時間 : 4/1/2022

モデル概要

このモデルはポルトガル語の自動音声認識(ASR)モデルで、ポルトガル語音声をテキストに変換できます。

モデル特徴

高精度

評価セットで13.52%の単語誤り率(WER)を達成

大規模事前学習モデルベース

facebook/wav2vec2-xls-r-300mモデルをファインチューニングしており、強力な音声特徴抽出能力を継承

ポルトガル語最適化

ポルトガル語音声データに特化して最適化されており、ポルトガル語音声認識タスクに適しています

モデル能力

ポルトガル語音声認識

音声テキスト変換

使用事例

音声文字起こし

音声メモ文字起こし

ポルトガル語音声メモを検索可能なテキストに変換

支援技術

音声制御アプリケーション

ポルトガル語ユーザー向け音声制御インターフェースを提供

🚀 output

このモデルは、MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - PTデータセットでfacebook/wav2vec2-xls-r-300mをファインチューニングしたバージョンです。評価セットでは、以下の結果を達成しています。

損失: 0.1505
単語誤り率 (Wer): 0.1352

🚀 クイックスタート

このモデルは、自動音声認識タスクに使用できます。MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - PTデータセットでファインチューニングされており、特定の音声認識タスクでの性能が向上しています。

🔧 技術詳細

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

学習率 (learning_rate): 7.5e-05
学習バッチサイズ (train_batch_size): 8
評価バッチサイズ (eval_batch_size): 8
乱数シード (seed): 42
勾配累積ステップ数 (gradient_accumulation_steps): 4
総学習バッチサイズ (total_train_batch_size): 32
オプティマイザ (optimizer): Adam (betas=(0.9,0.999), epsilon=1e-08)
学習率スケジューラの種類 (lr_scheduler_type): linear
学習率スケジューラのウォームアップステップ数 (lr_scheduler_warmup_steps): 2000
エポック数 (num_epochs): 50.0
混合精度学習 (mixed_precision_training): Native AMP

学習結果

学習損失	エポック	ステップ	検証損失	単語誤り率 (Wer)
4.1367	0.64	500	3.8825	1.0
2.9677	1.29	1000	2.9498	1.0
1.5884	1.93	1500	0.6722	0.6493
1.2292	2.57	2000	0.3635	0.3202
1.1314	3.22	2500	0.2970	0.2680
1.0879	3.86	3000	0.2671	0.2486
1.0344	4.5	3500	0.2625	0.2239
1.0109	5.15	4000	0.2520	0.2230
0.9966	5.79	4500	0.2280	0.2105
0.9815	6.43	5000	0.2254	0.2179
0.9744	7.08	5500	0.2301	0.2137
0.9487	7.72	6000	0.2224	0.2051
0.9431	8.37	6500	0.2105	0.1992
0.9365	9.01	7000	0.2114	0.2019
0.9268	9.65	7500	0.2097	0.1988
0.9292	10.3	8000	0.2120	0.1986
0.929	10.94	8500	0.2048	0.1998
0.9017	11.58	9000	0.2035	0.1999
0.8898	12.23	9500	0.1961	0.1908
0.8799	12.87	10000	0.1945	0.1817
0.869	13.51	10500	0.1929	0.1844
0.8572	14.16	11000	0.1941	0.1888
0.8691	14.8	11500	0.1912	0.1804
0.8645	15.44	12000	0.1950	0.1851
0.8468	16.09	12500	0.1879	0.1770
0.8405	16.73	13000	0.1881	0.1759
0.8647	17.37	13500	0.1861	0.1740
0.8477	18.02	14000	0.1782	0.1702
0.811	18.66	14500	0.1915	0.1757
0.8165	19.3	15000	0.1820	0.1724
0.8166	19.95	15500	0.1798	0.1697
0.8167	20.59	16000	0.1805	0.1752
0.7908	21.24	16500	0.1761	0.1699
0.7925	21.88	17000	0.1740	0.1709
0.7803	22.52	17500	0.1815	0.1727
0.7839	23.17	18000	0.1737	0.1694
0.7815	23.81	18500	0.1732	0.1630
0.767	24.45	19000	0.1724	0.1648
0.7672	25.1	19500	0.1706	0.1596
0.7691	25.74	20000	0.1718	0.1618
0.7547	26.38	20500	0.1694	0.1565
0.7498	27.03	21000	0.1706	0.1582
0.7459	27.67	21500	0.1663	0.1586
0.7374	28.31	22000	0.1651	0.1567
0.7499	28.96	22500	0.1668	0.1549
0.7471	29.6	23000	0.1667	0.1553
0.7369	30.24	23500	0.1659	0.1556
0.7389	30.89	24000	0.1668	0.1538
0.7197	31.53	24500	0.1687	0.1561
0.71	32.17	25000	0.1666	0.1516
0.7199	32.82	25500	0.1640	0.1523
0.7194	33.46	26000	0.1659	0.1528
0.6923	34.11	26500	0.1662	0.1507
0.7054	34.75	27000	0.1641	0.1486
0.6955	35.39	27500	0.1634	0.1497
0.7084	36.04	28000	0.1618	0.1478
0.6917	36.68	28500	0.1589	0.1471
0.687	37.32	29000	0.1589	0.1450
0.6914	37.97	29500	0.1588	0.1465
0.6646	38.61	30000	0.1602	0.1468
0.6667	39.25	30500	0.1588	0.1444
0.6754	39.9	31000	0.1587	0.1455
0.6632	40.54	31500	0.1586	0.1461
0.6619	41.18	32000	0.1571	0.1441
0.6561	41.83	32500	0.1564	0.1420
0.6492	42.47	33000	0.1539	0.1437
0.6649	43.11	33500	0.1512	0.1406
0.6511	43.76	34000	0.1539	0.1384
0.6551	44.4	34500	0.1520	0.1384
0.6452	45.05	35000	0.1510	0.1368
0.6155	45.69	35500	0.1522	0.1375
0.628	46.33	36000	0.1522	0.1366
0.6389	46.97	36500	0.1513	0.1377
0.6265	47.62	37000	0.1512	0.1369
0.6197	48.26	37500	0.1511	0.1362
0.621	48.91	38000	0.1510	0.1357
0.6259	49.55	38500	0.1506	0.1353