开源自动语音识别模型 - 基于微调支持葡萄牙语语音精准识别

Home

Output

Developed by tonyalves

基于facebook/wav2vec2-xls-r-300m在Mozilla Common Voice葡萄牙语数据集上微调的自动语音识别模型

语音识别

Transformers

OtherOpen Source License:Apache-2.0 #葡萄牙语语音识别 #Wav2Vec2微调 #低词错误率

Downloads 28

Release Time : 4/1/2022

Model Overview

该模型是针对葡萄牙语的自动语音识别(ASR)模型，能够将葡萄牙语语音转换为文本。

Model Features

高准确率

在评估集上取得了13.52%的词错误率(WER)

基于大规模预训练模型

基于facebook/wav2vec2-xls-r-300m模型微调，继承了其强大的语音特征提取能力

葡萄牙语优化

专门针对葡萄牙语语音数据进行优化，适合葡萄牙语语音识别任务

Model Capabilities

葡萄牙语语音识别

语音转文本

Use Cases

语音转录

语音备忘录转录

将葡萄牙语语音备忘录转换为可搜索的文本

辅助技术

语音控制应用

为葡萄牙语用户提供语音控制界面

🚀 输出模型

这个模型是 facebook/wav2vec2-xls-r-300m 在 MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - PT 数据集上的微调版本。它在评估集上取得了以下结果：

损失值（Loss）：0.1505
字错率（Wer）：0.1352

📚 详细文档

训练和评估数据

更多信息待补充。

训练过程

训练超参数

训练过程中使用了以下超参数：

学习率（learning_rate）：7.5e-05
训练批次大小（train_batch_size）：8
评估批次大小（eval_batch_size）：8
随机种子（seed）：42
梯度累积步数（gradient_accumulation_steps）：4
总训练批次大小（total_train_batch_size）：32
优化器（optimizer）：Adam，β值为(0.9, 0.999)，ε值为 1e-08
学习率调度器类型（lr_scheduler_type）：线性
学习率调度器热身步数（lr_scheduler_warmup_steps）：2000
训练轮数（num_epochs）：50.0
混合精度训练（mixed_precision_training）：原生自动混合精度（Native AMP）

训练结果

训练损失	轮数	步数	验证损失	字错率
4.1367	0.64	500	3.8825	1.0
2.9677	1.29	1000	2.9498	1.0
1.5884	1.93	1500	0.6722	0.6493
1.2292	2.57	2000	0.3635	0.3202
1.1314	3.22	2500	0.2970	0.2680
1.0879	3.86	3000	0.2671	0.2486
1.0344	4.5	3500	0.2625	0.2239
1.0109	5.15	4000	0.2520	0.2230
0.9966	5.79	4500	0.2280	0.2105
0.9815	6.43	5000	0.2254	0.2179
0.9744	7.08	5500	0.2301	0.2137
0.9487	7.72	6000	0.2224	0.2051
0.9431	8.37	6500	0.2105	0.1992
0.9365	9.01	7000	0.2114	0.2019
0.9268	9.65	7500	0.2097	0.1988
0.9292	10.3	8000	0.2120	0.1986
0.929	10.94	8500	0.2048	0.1998
0.9017	11.58	9000	0.2035	0.1999
0.8898	12.23	9500	0.1961	0.1908
0.8799	12.87	10000	0.1945	0.1817
0.869	13.51	10500	0.1929	0.1844
0.8572	14.16	11000	0.1941	0.1888
0.8691	14.8	11500	0.1912	0.1804
0.8645	15.44	12000	0.1950	0.1851
0.8468	16.09	12500	0.1879	0.1770
0.8405	16.73	13000	0.1881	0.1759
0.8647	17.37	13500	0.1861	0.1740
0.8477	18.02	14000	0.1782	0.1702
0.811	18.66	14500	0.1915	0.1757
0.8165	19.3	15000	0.1820	0.1724
0.8166	19.95	15500	0.1798	0.1697
0.8167	20.59	16000	0.1805	0.1752
0.7908	21.24	16500	0.1761	0.1699
0.7925	21.88	17000	0.1740	0.1709
0.7803	22.52	17500	0.1815	0.1727
0.7839	23.17	18000	0.1737	0.1694
0.7815	23.81	18500	0.1732	0.1630
0.767	24.45	19000	0.1724	0.1648
0.7672	25.1	19500	0.1706	0.1596
0.7691	25.74	20000	0.1718	0.1618
0.7547	26.38	20500	0.1694	0.1565
0.7498	27.03	21000	0.1706	0.1582
0.7459	27.67	21500	0.1663	0.1586
0.7374	28.31	22000	0.1651	0.1567
0.7499	28.96	22500	0.1668	0.1549
0.7471	29.6	23000	0.1667	0.1553
0.7369	30.24	23500	0.1659	0.1556
0.7389	30.89	24000	0.1668	0.1538
0.7197	31.53	24500	0.1687	0.1561
0.71	32.17	25000	0.1666	0.1516
0.7199	32.82	25500	0.1640	0.1523
0.7194	33.46	26000	0.1659	0.1528
0.6923	34.11	26500	0.1662	0.1507
0.7054	34.75	27000	0.1641	0.1486
0.6955	35.39	27500	0.1634	0.1497
0.7084	36.04	28000	0.1618	0.1478
0.6917	36.68	28500	0.1589	0.1471
0.687	37.32	29000	0.1589	0.1450
0.6914	37.97	29500	0.1588	0.1465
0.6646	38.61	30000	0.1602	0.1468
0.6667	39.25	30500	0.1588	0.1444
0.6754	39.9	31000	0.1587	0.1455
0.6632	40.54	31500	0.1586	0.1461
0.6619	41.18	32000	0.1571	0.1441
0.6561	41.83	32500	0.1564	0.1420
0.6492	42.47	33000	0.1539	0.1437
0.6649	43.11	33500	0.1512	0.1406
0.6511	43.76	34000	0.1539	0.1384
0.6551	44.4	34500	0.1520	0.1384
0.6452	45.05	35000	0.1510	0.1368
0.6155	45.69	35500	0.1522	0.1375
0.628	46.33	36000	0.1522	0.1366
0.6389	46.97	36500	0.1513	0.1377
0.6265	47.62	37000	0.1512	0.1369
0.6197	48.26	37500	0.1511	0.1362
0.621	48.91	38000	0.1510	0.1357
0.6259	49.55	38500	0.1506	0.1353