wav2vec2-xls-r-1b-korean开源韩语语音识别模型 - 免费部署精准识别韩语语音

首页

Wav2vec2 Xls R 1b Korean

由 anantoj 开发

该模型是基于facebook/wav2vec2-xls-r-1b在KRESNIK/ZEROTH_KOREAN - CLEAN数据集上微调的韩语自动语音识别模型

语音识别

Transformers

韩语开源协议:Apache-2.0 #韩语语音识别 #大参数模型 #低词错误率

下载量 20

发布时间 : 3/2/2022

模型简介

这是一个针对韩语优化的自动语音识别模型，基于10亿参数的XLS-R架构，在韩语数据集上进行了微调

模型特点

大规模预训练

基于10亿参数的XLS-R架构，具有强大的语音特征提取能力

韩语优化

在韩语数据集上进行了专门微调，适应韩语语音特点

高效训练

使用混合精度训练和梯度累积等技术提高训练效率

模型能力

韩语语音识别

语音转文本

音频内容理解

使用案例

语音转录

韩语会议记录

将韩语会议录音自动转换为文字记录

在测试集上WER为82.07，CER为42.12

语音助手

用于韩语语音助手的语音识别模块

教育技术

韩语学习应用

帮助学习者练习韩语发音和听力

🚀 Wav2Vec2 XLS - R 1B 韩语模型

该模型是基于自动语音识别技术的微调模型，在KRESNIK/ZEROTH_KOREAN - CLEAN数据集上对[facebook/wav2vec2 - xls - r - 1b](https://huggingface.co/facebook/wav2vec2 - xls - r - 1b)进行微调，在评估集上取得了良好的效果，可用于韩语语音识别任务。

🚀 快速开始

此模型是 [facebook/wav2vec2 - xls - r - 1b](https://huggingface.co/facebook/wav2vec2 - xls - r - 1b) 在 KRESNIK/ZEROTH_KOREAN - CLEAN 数据集上的微调版本。它在评估集上取得了以下结果：

损失值：0.0639
词错误率（Wer）：0.0449

📚 详细文档

模型描述

该模型是在特定韩语数据集上对预训练模型进行微调得到的，可用于韩语语音识别任务。不过目前关于模型的更多详细信息有待补充。

预期用途与限制

目前关于模型的预期用途和限制的详细信息有待进一步补充。

训练和评估数据

目前关于训练和评估数据的详细信息有待进一步补充。

训练过程

训练超参数

训练过程中使用了以下超参数：

学习率（learning_rate）：7.5e - 05
训练批次大小（train_batch_size）：8
评估批次大小（eval_batch_size）：8
随机种子（seed）：42
梯度累积步数（gradient_accumulation_steps）：4
总训练批次大小（total_train_batch_size）：32
优化器（optimizer）：Adam，β1 = 0.9，β2 = 0.999，ε = 1e - 08
学习率调度器类型（lr_scheduler_type）：线性
学习率调度器热身步数（lr_scheduler_warmup_steps）：2000
训练轮数（num_epochs）：50.0
混合精度训练（mixed_precision_training）：原生自动混合精度（Native AMP）

训练结果

训练损失	轮数	步数	验证损失	词错误率（Wer）
4.603	0.72	500	4.6572	0.9985
2.6314	1.44	1000	2.0424	0.9256
2.2708	2.16	1500	0.9889	0.6989
2.1769	2.88	2000	0.8366	0.6312
2.1142	3.6	2500	0.7555	0.5998
2.0084	4.32	3000	0.7144	0.6003
1.9272	5.04	3500	0.6311	0.5461
1.8687	5.75	4000	0.6252	0.5430
1.8186	6.47	4500	0.5491	0.4988
1.7364	7.19	5000	0.5463	0.4959
1.6809	7.91	5500	0.4724	0.4484
1.641	8.63	6000	0.4679	0.4461
1.572	9.35	6500	0.4387	0.4236
1.5256	10.07	7000	0.3970	0.4003
1.5044	10.79	7500	0.3690	0.3893
1.4563	11.51	8000	0.3752	0.3875
1.394	12.23	8500	0.3386	0.3567
1.3641	12.95	9000	0.3290	0.3467
1.2878	13.67	9500	0.2893	0.3135
1.2602	14.39	10000	0.2723	0.3029
1.2302	15.11	10500	0.2603	0.2989
1.1865	15.83	11000	0.2440	0.2794
1.1491	16.55	11500	0.2500	0.2788
1.093	17.27	12000	0.2279	0.2629
1.0367	17.98	12500	0.2076	0.2443
0.9954	18.7	13000	0.1844	0.2259
0.99	19.42	13500	0.1794	0.2179
0.9385	20.14	14000	0.1765	0.2122
0.8952	20.86	14500	0.1706	0.1974
0.8841	21.58	15000	0.1791	0.1969
0.847	22.3	15500	0.1780	0.2060
0.8669	23.02	16000	0.1608	0.1862
0.8066	23.74	16500	0.1447	0.1626
0.7908	24.46	17000	0.1457	0.1655
0.7459	25.18	17500	0.1350	0.1445
0.7218	25.9	18000	0.1276	0.1421
0.703	26.62	18500	0.1177	0.1302
0.685	27.34	19000	0.1147	0.1305
0.6811	28.06	19500	0.1128	0.1244
0.6444	28.78	20000	0.1120	0.1213
0.6323	29.5	20500	0.1137	0.1166
0.5998	30.22	21000	0.1051	0.1107
0.5706	30.93	21500	0.1035	0.1037
0.5555	31.65	22000	0.1031	0.0927
0.5389	32.37	22500	0.0997	0.0900
0.5201	33.09	23000	0.0920	0.0912
0.5146	33.81	23500	0.0929	0.0947
0.515	34.53	24000	0.1000	0.0953
0.4743	35.25	24500	0.0922	0.0892
0.4707	35.97	25000	0.0852	0.0808
0.4456	36.69	25500	0.0855	0.0779
0.443	37.41	26000	0.0843	0.0738
0.4388	38.13	26500	0.0816	0.0699
0.4162	38.85	27000	0.0752	0.0645
0.3979	39.57	27500	0.0761	0.0621
0.3889	40.29	28000	0.0771	0.0625
0.3923	41.01	28500	0.0755	0.0598
0.3693	41.73	29000	0.0730	0.0578
0.3642	42.45	29500	0.0739	0.0598
0.3532	43.17	30000	0.0712	0.0553
0.3513	43.88	30500	0.0762	0.0516
0.3349	44.6	31000	0.0731	0.0504
0.3305	45.32	31500	0.0725	0.0507
0.3285	46.04	32000	0.0709	0.0489
0.3179	46.76	32500	0.0667	0.0467
0.3158	47.48	33000	0.0653	0.0494
0.3033	48.2	33500	0.0638	0.0456
0.3023	48.92	34000	0.0644	0.0464
0.2975	49.64	34500	0.0643	0.0455