xls-r-300m-fr-0开源自动语音识别模型 - 免费实现法语语音精准转文本

Xls R 300m Fr 0

由 AlexN 开发

这是一个基于facebook/wav2vec2-xls-r-300m在Common Voice 8.0法语数据集上微调的自动语音识别(ASR)模型，支持法语语音转文本任务。

下载量 24

发布时间 : 3/2/2022

模型简介

该模型专门用于法语语音识别任务，在Common Voice 8.0法语数据集上表现良好，WER为36.81%。

法语语音识别

专门针对法语优化的语音识别能力

基于大规模预训练模型

基于facebook/wav2vec2-xls-r-300m模型微调，具备强大的语音特征提取能力

多数据集验证

在Common Voice和鲁棒语音事件等多个数据集上进行了验证

法语语音转文本

自动语音识别

处理不同口音的法语语音

语音转录

法语语音转录

将法语语音内容转换为文本

WER 36.81% (Common Voice 8.0测试集)

语音助手

法语语音指令识别

用于法语语音助手系统中的语音指令识别

本模型是基于自动语音识别技术的模型，在法语语音识别任务上进行了优化。它基于facebook/wav2vec2-xls-r-300m模型在MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - FR数据集上微调得到，在评估集上取得了较好的效果。

本模型是 facebook/wav2vec2-xls-r-300m 在MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - FR数据集上的微调版本。它在评估集上取得了以下结果：

多数据集验证：在多个数据集上进行了评估，包括Common Voice 8.0 fr、Robust Speech Event - Dev Data和Robust Speech Event - Test Data。
低WER：在不同数据集上的词错误率表现良好。

属性	详情
模型类型	自动语音识别
训练数据	mozilla - foundation/common_voice_8_0

任务	数据集	测试WER
语音识别	Common Voice 8.0 fr	36.81
自动语音识别	Robust Speech Event - Dev Data	35.55
自动语音识别	Robust Speech Event - Test Data	39.94

以下是训练过程中使用的超参数：

训练损失	轮数	步数	验证损失	词错误率（WER）
4.3748	0.07	500	3.8784	1.0
2.8068	0.14	1000	2.8289	0.9826
1.6698	0.22	1500	0.8811	0.7127
1.3488	0.29	2000	0.5166	0.5369
1.2239	0.36	2500	0.4105	0.4741
1.1537	0.43	3000	0.3585	0.4448
1.1184	0.51	3500	0.3336	0.4292
1.0968	0.58	4000	0.3195	0.4180
1.0737	0.65	4500	0.3075	0.4141
1.0677	0.72	5000	0.3015	0.4089
1.0462	0.8	5500	0.2971	0.4077
1.0392	0.87	6000	0.2870	0.3997
1.0178	0.94	6500	0.2805	0.3963
0.992	1.01	7000	0.2748	0.3935
1.0197	1.09	7500	0.2691	0.3884
1.0056	1.16	8000	0.2682	0.3889
0.9826	1.23	8500	0.2647	0.3868
0.9815	1.3	9000	0.2603	0.3832
0.9717	1.37	9500	0.2561	0.3807
0.9605	1.45	10000	0.2523	0.3783
0.96	1.52	10500	0.2494	0.3788
0.9442	1.59	11000	0.2478	0.3760
0.9564	1.66	11500	0.2454	0.3733
0.9436	1.74	12000	0.2439	0.3747
0.938	1.81	12500	0.2411	0.3716
0.9353	1.88	13000	0.2397	0.3698
0.9271	1.95	13500	0.2388	0.3681