wav2vec2-xlsr-1b-ru开源俄语语音识别模型 - 免费实现自动语音识别

首页

Wav2vec2 Xlsr 1b Ru

由 RASMUS 开发

基于facebook/wav2vec2-xls-r-1b在Common Voice数据集上微调的俄语自动语音识别模型

语音识别

Transformers

其他#俄语语音识别 #低词错误率 #大参数模型

下载量 41

发布时间 : 3/2/2022

模型简介

该模型是针对俄语优化的自动语音识别(ASR)模型，基于10亿参数的XLS-R架构，在Common Voice 8俄语数据集上微调，能够将俄语语音转换为文本。

模型特点

大规模预训练架构

基于10亿参数的XLS-R架构，具备强大的语音特征提取能力

俄语优化

专门针对俄语语音特点进行微调，适应俄语发音和语法特征

多数据集验证

在Common Voice和鲁棒语音事件等多个数据集上验证性能

模型能力

俄语语音识别

语音转文本

自动语音转录

使用案例

语音转录

俄语语音转文字

将俄语语音内容转换为可编辑的文本格式

在Common Voice测试集上WER为10.83%

语音助手

俄语语音指令识别

用于俄语语音助手和智能家居设备的语音指令识别

🚀 wav2vec2-xlsr-1b-ru

该模型是 facebook/wav2vec2-xls-r-1b 在 common_voice 数据集上的微调版本。它在评估集上取得了以下结果：

损失：0.1352
词错误率（Wer）：0.0971

🚀 快速开始

此模型是语音识别领域的重要成果，基于预训练模型在特定数据集上微调，可用于俄语的自动语音识别任务。

✨ 主要特性

微调模型：基于 facebook/wav2vec2-xls-r-1b 模型在 common_voice 数据集上进行微调。
多指标评估：使用词错误率（Wer）和字符错误率（Cer）等指标进行评估。

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

文档未提供代码示例，暂不展示。

📚 详细文档

模型信息

属性	详情
数据集	mozilla-foundation/common_voice_8_0
评估指标	词错误率（wer）、字符错误率（cer）
标签	音频、自动语音识别、由训练器生成、HF 语音识别排行榜、mozilla-foundation/common_voice_8_0、鲁棒语音事件、语音

模型评估结果

任务	数据集	测试词错误率（Wer）	测试字符错误率（Cer）
自动语音识别	Common Voice 8	10.83	2.41
自动语音识别	Robust Speech Event - Dev Data	37.71	12.98
自动语音识别	Robust Speech Event - Test Data	31.89	-

训练过程

训练超参数

以下是训练期间使用的超参数：

学习率：5e-05
训练批次大小：32
评估批次大小：8
随机种子：42
优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
学习率调度器类型：线性
学习率调度器热身步数：500
训练轮数：10
混合精度训练：原生自动混合精度（Native AMP）

训练结果

训练损失	轮数	步数	验证损失	词错误率（Wer）
0.5462	0.35	500	0.4027	0.3575
0.498	0.69	1000	0.2588	0.2513
0.4279	1.04	1500	0.2265	0.2204
0.4099	1.38	2000	0.2189	0.1979
0.4688	1.73	2500	0.2100	0.1920
0.2241	2.07	3000	0.1980	0.1767
0.2056	2.42	3500	0.2020	0.1683
0.3423	2.76	4000	0.1862	0.1606
0.2478	3.11	4500	0.1787	0.1563
0.3079	3.45	5000	0.1759	0.1555
0.2477	3.8	5500	0.1713	0.1423
0.1718	4.14	6000	0.1695	0.1391
0.1675	4.49	6500	0.1677	0.1372
0.1631	4.83	7000	0.1652	0.1333
0.1429	5.18	7500	0.1605	0.1308
0.1505	5.52	8000	0.1612	0.1245
0.1385	5.87	8500	0.1487	0.1225
0.1285	6.22	9000	0.1526	0.1201
0.1153	6.56	9500	0.1464	0.1172
0.1159	6.91	10000	0.1505	0.1143
0.1061	7.25	10500	0.1444	0.1106
0.1016	7.6	11000	0.1427	0.1075
0.1125	7.94	11500	0.1386	0.1045
0.0937	8.29	12000	0.1403	0.1022
0.1059	8.63	12500	0.1406	0.1022
0.0857	8.98	13000	0.1372	0.0992
0.0901	9.32	13500	0.1380	0.0977
0.0913	9.67	14000	0.1352	0.0971