wav2vec2-xls-r-hindi开源语音识别模型 - 精准识别印地语语音内容

首页

Wav2vec2 Xls R Hindi

由 shivam 开发

这是一个基于facebook/wav2vec2-xls-r-300m在印地语Common Voice 7.0数据集上微调的自动语音识别(ASR)模型

语音识别

Transformers

其他开源协议:Apache-2.0 #印地语语音识别 #多方言支持 #低资源优化

下载量 19

发布时间 : 3/2/2022

模型简介

该模型专门用于印地语语音识别任务，在Common Voice 7.0印地语测试集上取得了52.3%的词错误率(WER)和26.09%的字错误率(CER)

模型特点

印地语语音识别

专门针对印地语优化的语音识别模型

基于XLS-R架构

使用facebook的wav2vec2-xls-r-300m作为基础模型

Common Voice数据集训练

在Mozilla Common Voice 7.0印地语数据集上微调

模型能力

印地语语音转文本

自动语音识别

使用案例

语音转录

印地语语音转录

将印地语语音内容转换为文本

在测试集上达到52.3%词错误率

语音助手

印地语语音指令识别

用于理解印地语语音指令

🚀 希瓦姆/瓦2向量2 - XLS - R - 印地语模型

该模型基于Transformer架构，是在MOZILLA - FOUNDATION/COMMON_VOICE_7_0 - HI数据集上微调的语音识别模型，可用于自动语音识别任务。

🚀 快速开始

此模型是 [facebook/wav2vec2 - xls - r - 300m](https://huggingface.co/facebook/wav2vec2 - xls - r - 300m) 在MOZILLA - FOUNDATION/COMMON_VOICE_7_0 - HI数据集上的微调版本。它在评估集上取得了以下结果：

损失：1.2282
词错误率（Wer）：0.6838

📚 详细文档

通用语音7“测试”集评估结果（运行 ./eval.py）

带语言模型（LM）

词错误率（WER）：52.30
字符错误率（CER）：26.09

模型描述

更多信息待补充。

预期用途和限制

更多信息待补充。

训练和评估数据

更多信息待补充。

训练过程

训练超参数

训练期间使用了以下超参数：

学习率：7.5e - 05
训练批次大小：8
评估批次大小：8
随机种子：42
梯度累积步数：4
总训练批次大小：32
优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
学习率调度器类型：线性
学习率调度器热身步数：2000
训练轮数：50.0
混合精度训练：原生自动混合精度（Native AMP）

训练结果

训练损失	轮数	步数	验证损失	词错误率（Wer）
5.3155	3.4	500	4.5582	1.0
3.3369	6.8	1000	3.4269	1.0
2.1785	10.2	1500	1.7191	0.8831
1.579	13.6	2000	1.3604	0.7647
1.3773	17.01	2500	1.2737	0.7519
1.3165	20.41	3000	1.2457	0.7401
1.2274	23.81	3500	1.3617	0.7301
1.1787	27.21	4000	1.2068	0.7010
1.1467	30.61	4500	1.2416	0.6946
1.0801	34.01	5000	1.2312	0.6990
1.0709	37.41	5500	1.2984	0.7138
1.0307	40.81	6000	1.2049	0.6871
1.0003	44.22	6500	1.1956	0.6841
1.004	47.62	7000	1.2101	0.6793

框架版本

Transformers 4.16.0.dev0
Pytorch 1.10.1+cu113
Datasets 1.18.1.dev0
Tokenizers 0.11.0

📄 许可证

本模型使用Apache 2.0许可证。

📋 模型信息表格

属性	详情
模型类型	自动语音识别模型
训练数据	MOZILLA - FOUNDATION/COMMON_VOICE_7_0 - HI数据集
评估指标	词错误率（WER）、字符错误率（CER）