xls-r-300m-pt开源自动语音识别模型 - 助力葡萄牙语语音内容高效转录

Xls R 300m Pt

由 AlexN 开发

这是一个基于Facebook的wav2vec2-xls-r-300m模型在葡萄牙语Common Voice 8.0数据集上微调的自动语音识别模型

下载量 28

发布时间 : 3/2/2022

模型简介

该模型专门用于葡萄牙语语音识别任务，在Common Voice 8.0数据集上表现出色，词错误率(WER)为19.36%

多语言支持

基于XLS-R架构，支持跨语言迁移学习

高效性能

在葡萄牙语测试集上取得19.36%的词错误率

鲁棒性

在鲁棒语音事件测试数据上表现稳定

葡萄牙语语音转文本

自动语音识别

处理不同口音的语音

语音转录

葡萄牙语语音转录

将葡萄牙语语音转换为文本

在Common Voice 8.0测试集上WER为19.36%

语音助手

葡萄牙语语音指令识别

用于葡萄牙语语音助手的前端语音识别

本模型是基于自动语音识别技术的强大工具，它在葡萄牙语语音识别任务上表现出色，通过在特定数据集上的微调，能够有效处理语音识别相关任务，为语音识别领域提供了可靠的解决方案。

本模型是 facebook/wav2vec2-xls-r-300m 在 MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - PT 数据集上的微调版本。它在评估集上取得了以下结果：

本模型采用 Apache - 2.0 许可证。

属性	详情
模型类型	自动语音识别模型
训练数据	mozilla - foundation/common_voice_8_0 葡萄牙语数据集

任务	数据集	评估指标	值
语音识别	Common Voice 8.0 pt	测试词错误率（Test WER）	19.361
语音识别	Common Voice 8.0 pt	测试字符错误率（Test CER）	5.533
语音识别	Robust Speech Event - Dev Data（法语）	验证词错误率（Validation WER）	47.812
语音识别	Robust Speech Event - Dev Data（法语）	验证字符错误率（Validation CER）	18.805
自动语音识别	Common Voice 8.0 pt	测试词错误率（Test WER）	19.36
自动语音识别	Robust Speech Event - Dev Data（葡萄牙语）	测试词错误率（Test WER）	48.01
自动语音识别	Robust Speech Event - Test Data（葡萄牙语）	测试词错误率（Test WER）	49.21

训练过程中使用了以下超参数：

训练损失	轮数	步数	验证损失	词错误率（Wer）
3.0952	0.64	500	3.0982	1.0
1.7975	1.29	1000	0.7887	0.5651
1.4138	1.93	1500	0.5238	0.4389
1.344	2.57	2000	0.4775	0.4318
1.2737	3.21	2500	0.4648	0.4075
1.2554	3.86	3000	0.4069	0.3678
1.1996	4.5	3500	0.3914	0.3668
1.1427	5.14	4000	0.3694	0.3572
1.1372	5.78	4500	0.3568	0.3501
1.0831	6.43	5000	0.3331	0.3253
1.1074	7.07	5500	0.3332	0.3352
1.0536	7.71	6000	0.3131	0.3152
1.0248	8.35	6500	0.3024	0.3023
1.0075	9.0	7000	0.2948	0.3028
0.979	9.64	7500	0.2796	0.2853
0.9594	10.28	8000	0.2719	0.2789
0.9172	10.93	8500	0.2620	0.2695
0.9047	11.57	9000	0.2537	0.2596
0.8777	12.21	9500	0.2438	0.2525
0.8629	12.85	10000	0.2409	0.2493
0.8575	13.5	10500	0.2366	0.2440
0.8361	14.14	11000	0.2317	0.2385
0.8126	14.78	11500	0.2290	0.2382