wav2vec2-xls-r-1b-hebrew开源自动语音识别模型

首页

Wav2vec2 Xls R 1b Hebrew

由 imvladikon 开发

基于facebook/wav2vec2-xls-r-1b模型在希伯来语数据集上微调的自动语音识别模型

语音识别

Transformers

其他开源协议:Apache-2.0 #希伯来语语音识别 #大模型微调 #多GPU训练

下载量 66

发布时间 : 3/2/2022

模型简介

该模型是针对希伯来语优化的自动语音识别(ASR)模型，基于Facebook的wav2vec2-xls-r-1b架构微调而成，适用于希伯来语语音转文本任务。

模型特点

希伯来语优化

专门针对希伯来语语音识别任务进行微调优化

大规模预训练基础

基于Facebook的10亿参数wav2vec2-xls-r模型微调

高效训练

采用多GPU分布式训练和混合精度训练技术

模型能力

希伯来语语音识别

鲁棒语音事件检测

语音转文本

使用案例

语音转录

希伯来语会议记录

将希伯来语会议录音自动转录为文字记录

词错误率(WER)22.51%

希伯来语语音助手

为希伯来语语音助手提供语音识别能力

教育

希伯来语学习应用

用于希伯来语学习应用中的发音评估功能

🚀 希伯来语版wav2vec2-xls-r-1b模型

该模型是基于 facebook/wav2vec2-xls-r-1b 在未知数据集上进行微调的版本。它在评估集上取得了以下结果：

损失值：0.3533
字错率（Wer）：0.2251

📚 详细文档

模型描述

待补充更多信息。

预期用途与限制

待补充更多信息。

训练和评估数据

待补充更多信息。

训练过程

训练超参数

训练过程中使用了以下超参数：

学习率：0.0003
训练批次大小：6
评估批次大小：6
随机种子：42
分布式类型：多GPU
梯度累积步数：4
总训练批次大小：24
优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
学习率调度器类型：线性
学习率调度器热身步数：400
训练轮数：20.0
混合精度训练：原生自动混合精度（Native AMP）

训练结果

训练损失	轮数	步数	验证损失	字错率（Wer）
3.3587	0.47	400	1.1883	0.8392
1.8377	0.95	800	0.8831	0.6852
1.7118	1.42	1200	0.8031	0.6566
1.6741	1.89	1600	0.7518	0.6104
1.6163	2.36	2000	0.6888	0.5591
1.5782	2.84	2400	0.6580	0.5165
1.5548	3.31	2800	0.6506	0.5184
1.5249	3.78	3200	0.6198	0.5028
1.5078	4.26	3600	0.5992	0.4932
1.4836	4.73	4000	0.5705	0.4651
1.4505	5.2	4400	0.5489	0.4508
1.4481	5.67	4800	0.5577	0.4562
1.4136	6.15	5200	0.5452	0.4371
1.3861	6.62	5600	0.5101	0.4087
1.3772	7.09	6000	0.4933	0.3951
1.3478	7.56	6400	0.4849	0.3922
1.3394	8.04	6800	0.4805	0.3892
1.3095	8.51	7200	0.4839	0.3834
1.306	8.98	7600	0.4611	0.3587
1.2707	9.46	8000	0.4545	0.3730
1.2626	9.93	8400	0.4516	0.3524
1.2412	10.4	8800	0.4314	0.3310
1.2456	10.87	9200	0.4401	0.3459
1.2081	11.35	9600	0.4399	0.3356
1.1998	11.82	10000	0.4195	0.3215
1.1826	12.29	10400	0.4221	0.3178
1.1573	12.77	10800	0.4098	0.3084
1.1416	13.24	11200	0.4086	0.3119
1.1174	13.71	11600	0.3854	0.2910
1.1048	14.18	12000	0.3859	0.2824
1.0748	14.66	12400	0.3854	0.2757
1.0697	15.13	12800	0.3740	0.2724
1.0477	15.6	13200	0.3693	0.2643
1.0356	16.08	13600	0.3727	0.2561
1.0083	16.55	14000	0.3652	0.2501
1.0	17.02	14400	0.3641	0.2457
0.9779	17.49	14800	0.3568	0.2409
0.9596	17.97	15200	0.3558	0.2376
0.946	18.44	15600	0.3591	0.2311
0.9389	18.91	16000	0.3540	0.2283
0.9173	19.39	16400	0.3552	0.2265
0.9122	19.86	16800	0.3535	0.2250

框架版本

Transformers 4.16.0.dev0
Pytorch 1.10.1+cu102
Datasets 1.17.1.dev0
Tokenizers 0.11.0

📄 许可证

本模型采用Apache 2.0许可证。

属性	详情
模型类型	希伯来语版wav2vec2-xls-r-1b
基础模型	facebook/wav2vec2-xls-r-1b
许可证	Apache 2.0
标签	自动语音识别、鲁棒语音事件、希伯来语、由训练器生成、HF自动语音识别排行榜