wavlm-vindata-demo-dist开源自动语音识别模型 - 精准识别越南语语音信息

首页

Wavlm Vindata Demo Dist

由 phongdtd 开发

基于microsoft/wavlm-base在越南语数据集上微调的自动语音识别模型

语音识别

Transformers

#越南语语音识别 #WavLM微调 #低词错误率

下载量 17

发布时间 : 3/2/2022

模型简介

该模型是基于WavLM架构的自动语音识别(ASR)模型，专门针对越南语语音识别任务进行了微调。

模型特点

越南语语音识别优化

在越南语数据集上专门微调，针对越南语语音特点进行了优化

基于WavLM架构

采用微软WavLM-base作为基础模型，具备强大的语音表示能力

多GPU训练

使用多GPU分布式训练，提高了训练效率

模型能力

越南语语音转文本

连续语音识别

语音内容理解

使用案例

语音转录

越南语会议记录

将越南语会议录音自动转录为文字记录

语音助手

为越南语语音助手提供语音识别能力

媒体处理

视频字幕生成

为越南语视频内容自动生成字幕

🚀 wavlm-vindata-demo-dist

该模型是 microsoft/wavlm-base 在 PHONGDTD/VINDATAVLSP - NA 数据集上的微调版本。它在评估集上取得了以下结果：

损失值：3.4439
字错率（Wer）：1.0

🚀 快速开始

本模型是语音识别领域的重要工具，基于微调的 microsoft/wavlm-base 模型，在 PHONGDTD/VINDATAVLSP - NA 数据集上进行训练。以下是该模型在评估集上的表现：

指标	值
损失值	3.4439
字错率（Wer）	1.0

📚 详细文档

训练超参数

在训练过程中使用了以下超参数：

学习率（learning_rate）：0.0003
训练批次大小（train_batch_size）：1
评估批次大小（eval_batch_size）：8
随机种子（seed）：42
分布式类型（distributed_type）：多 GPU
设备数量（num_devices）：2
总训练批次大小（total_train_batch_size）：2
总评估批次大小（total_eval_batch_size）：16
优化器（optimizer）：Adam，β1 = 0.9，β2 = 0.999，ε = 1e-08
学习率调度器类型（lr_scheduler_type）：线性
学习率调度器热身步数（lr_scheduler_warmup_steps）：500
训练轮数（num_epochs）：15.0
混合精度训练（mixed_precision_training）：原生自动混合精度（Native AMP）

训练结果

训练损失	轮数	步数	验证损失	字错率（Wer）
4.0704	0.01	100	3.8768	1.0
3.6236	0.01	200	3.4611	1.0
6.597	0.02	300	3.4557	1.0
3.4744	0.03	400	3.4567	1.0
5.3992	0.04	500	3.4631	1.0
4.5348	0.04	600	3.4651	1.0
3.2457	0.05	700	3.4917	1.0
3.9245	0.06	800	3.4680	1.0
3.2904	0.07	900	3.4518	1.0
3.4768	0.07	1000	3.4506	1.0
3.2418	0.08	1100	3.4474	1.0
3.3111	0.09	1200	3.4684	1.0
3.986	0.09	1300	3.4465	1.0
4.3206	0.1	1400	3.4723	1.0
4.682	0.11	1500	3.4732	1.0
4.858	0.12	1600	3.4416	1.0
3.2949	0.12	1700	3.4481	1.0
3.4435	0.13	1800	3.4570	1.0
5.0695	0.14	1900	3.4448	1.0
3.4962	0.14	2000	3.4416	1.0
3.4891	0.15	2100	3.4455	1.0
4.1281	0.16	2200	3.4447	1.0
3.5956	0.17	2300	3.4512	1.0
3.6312	0.17	2400	3.4484	1.0
4.5383	0.18	2500	3.4435	1.0
6.1329	0.19	2600	3.4530	1.0
3.709	0.2	2700	3.4466	1.0
3.289	0.2	2800	3.4463	1.0
4.3301	0.21	2900	3.4418	1.0
4.6656	0.22	3000	3.4447	1.0
3.4288	0.22	3100	3.4715	1.0
3.5506	0.23	3200	3.4437	1.0
3.7497	0.24	3300	3.4910	1.0
3.5198	0.25	3400	3.4574	1.0
3.4183	0.25	3500	3.4607	1.0
4.5573	0.26	3600	3.4421	1.0
3.5737	0.27	3700	3.4481	1.0
4.9008	0.28	3800	3.4411	1.0
4.8725	0.28	3900	3.4422	1.0
3.5799	0.29	4000	3.4659	1.0
3.3257	0.3	4100	3.4519	1.0
3.6887	0.3	4200	3.4827	1.0
3.3037	0.31	4300	3.4632	1.0
5.5543	0.32	4400	3.4480	1.0
3.2898	0.33	4500	3.4404	1.0
3.2794	0.33	4600	3.4633	1.0
3.7896	0.34	4700	3.4439	1.0
3.6662	0.35	4800	3.4587	1.0
3.588	0.35	4900	3.4520	1.0
4.0535	0.36	5000	3.4450	1.0
3.4335	0.37	5100	3.4577	1.0
3.6317	0.38	5200	3.4443	1.0
5.2564	0.38	5300	3.4505	1.0
3.8781	0.39	5400	3.4418	1.0
4.6269	0.4	5500	3.4425	1.0
3.6095	0.41	5600	3.4581	1.0
4.6164	0.41	5700	3.4404	1.0
3.117	0.42	5800	3.4596	1.0
4.3939	0.43	5900	3.4401	1.0
3.5856	0.43	6000	3.4413	1.0
3.5187	0.44	6100	3.4452	1.0
4.7991	0.45	6200	3.4481	1.0
3.3905	0.46	6300	3.4420	1.0
3.5086	0.46	6400	3.4494	1.0
4.8217	0.47	6500	3.4477	1.0
3.3193	0.48	6600	3.4382	1.0
5.3482	0.49	6700	3.4580	1.0
3.3947	0.49	6800	3.4767	1.0
6.3352	0.5	6900	3.4476	1.0
3.4448	0.51	7000	3.4557	1.0
3.5358	0.51	7100	3.4438	1.0
3.3499	0.52	7200	3.4445	1.0
3.6932	0.53	7300	3.4463	1.0
6.9058	0.54	7400	3.4482	1.0
4.5514	0.54	7500	3.4422	1.0
3.517	0.55	7600	3.4505	1.0
7.4479	0.56	7700	3.4461	1.0
3.3761	0.56	7800	3.4511	1.0
4.5925	0.57	7900	3.4389	1.0
5.2682	0.58	8000	3.4563	1.0
5.6748	0.59	8100	3.4601	1.0
4.4335	0.59	8200	3.4439	1.0
5.1686	0.6	8300	3.4444	1.0
3.5245	0.61	8400	3.4629	1.0
4.9426	0.62	8500	3.4389	1.0
4.4654	0.62	8600	3.4427	1.0
3.5626	0.63	8700	3.4521	1.0
4.7086	0.64	8800	3.4489	1.0
3.238	0.64	8900	3.4478	1.0
4.2738	0.65	9000	3.4510	1.0
3.4468	0.66	9100	3.4411	1.0
3.2292	0.67	9200	3.4416	1.0
3.4972	0.67	9300	3.4643	1.0
7.3434	0.68	9400	3.4587	1.0
3.708	0.69	9500	3.4799	1.0
4.6466	0.69	9600	3.4490	1.0
3.3347	0.7	9700	3.4532	1.0
5.1486	0.71	9800	3.4427	1.0
3.6456	0.72	9900	3.4492	1.0
5.3904	0.72	10000	3.4497	1.0
4.8832	0.73	10100	3.4476	1.0
3.4482	0.74	10200	3.4539	1.0
3.617	0.75	10300	3.4547	1.0
5.4691	0.75	10400	3.4663	1.0
4.2759	0.76	10500	3.4401	1.0
8.2106	0.77	10600	3.4404	1.0
3.4894	0.77	10700	3.4426	1.0
3.6875	0.78	10800	3.4439	1.0
3.3277	0.79	10900	3.4446	1.0
4.5175	0.8	11000	3.4456	1.0
5.2161	0.8	11100	3.4388	1.0
3.5234	0.81	11200	3.4418	1.0
4.2212	0.82	11300	3.4392	1.0
3.6923	0.83	11400	3.4494	1.0
3.4863	0.83	11500	3.4572	1.0
6.3201	0.84	11600	3.4377	1.0
3.7543	0.85	11700	3.4533	1.0
3.3959	0.85	11800	3.4600	1.0
3.5691	0.86	11900	3.4673	1.0
3.49	0.87	12000	3.4407	1.0
7.1165	0.88	12100	3.4427	1.0
6.731	0.88	12200	3.4394	1.0
4.4682	0.89	12300	3.4407	1.0
3.3696	0.9	12400	3.4415	1.0
4.0241	0.9	12500	3.4454	1.0
3.521	0.91	12600	3.4379	1.0
5.5273	0.92	12700	3.4423	1.0
3.4781	0.93	12800	3.4635	1.0
3.4542	0.93	12900	3.4411	1.0
3.2363	0.94	13000	3.4396	1.0
5.3009	0.95	13100	3.4458	1.0
3.498	0.96	13200	3.4398	1.0
6.3325	0.96	13300	3.4514	1.0
3.5368	0.97	13400	3.4437	1.0
5.1164	0.98	13500	3.4623	1.0
3.6144	0.98	13600	3.4512	1.0
6.6018	0.99	13700	3.4493	1.0
3.7539	1.0	13800	3.4597	1.0
3.2903	1.01	13900	3.4813	1.0
3.3243	1.01	14000	3.4510	1.0
3.3485	1.02	14100	3.4389	1.0
3.6197	1.03	14200	3.4519	1.0
3.322	1.04	14300	3.4399	1.0
3.2897	1.04	14400	3.4378	1.0
3.3969	1.05	14500	3.4476	1.0
3.3289	1.06	14600	3.4646	1.0
3.3556	1.06	14700	3.4520	1.0
3.2527	1.07	14800	3.4575	1.0
3.4003	1.08	14900	3.4443	1.0
3.3171	1.09	15000	3.4434	1.0
3.4034	1.09	15100	3.4448	1.0
3.4363	1.1	15200	3.4560	1.0
3.3969	1.11	15300	3.4405	1.0
3.4134	1.11	15400	3.4408	1.0
3.5059	1.12	15500	3.4395	1.0
3.3963	1.13	15600	3.4488	1.0
3.2937	1.14	15700	3.4482	1.0
3.5635	1.14	15800	3.4621	1.0
3.4463	1.15	15900	3.4433	1.0
3.2588	1.16	16000	3.4434	1.0
3.3617	1.17	16100	3.4542	1.0
3.3721	1.17	16200	3.4388	1.0
3.3867	1.18	16300	3.4577	1.0
3.34	1.19	16400	3.4510	1.0
3.3676	1.19	16500	3.4434	1.0
3.5519	1.2	16600	3.4410	1.0
3.3129	1.21	16700	3.4507	1.0
3.3368	1.22	16800	3.4718	1.0
3.3107	1.22	16900	3.4439	1.0
3.2987	1.23	17000	3.4471	1.0
3.3102	1.24	17100	3.4435	1.0
3.2089	1.25	17200	3.4432	1.0
3.415	1.25	17300	3.4472	1.0
3.2884	1.26	17400	3.4388	1.0
3.3837	1.27	17500	3.4444	1.0
3.3181	1.27	17600	3.4438	1.0
3.3071	1.28	17700	3.4406	1.0
3.389	1.29	17800	3.4573	1.0
3.3246	1.3	17900	3.4580	1.0
3.3122	1.3	18000	3.4455	1.0
3.282	1.31	18100	3.4606	1.0
3.2671	1.32	18200	3.4378	1.0
3.3441	1.32	18300	3.4432	1.0
3.3115	1.33	18400	3.4458	1.0
3.3542	1.34	18500	3.4617	1.0
3.3924	1.35	18600	3.4549	1.0
3.4895	1.35	18700	3.4557	1.0
3.4071	1.36	18800	3.4462	1.0
3.3373	1.37	18900	3.4606	1.0
3.3497	1.38	19000	3.4458	1.0
3.3088	1.38	19100	3.4712	1.0
3.333	1.39	19200	3.4483	1.0
3.3773	1.4	19300	3.4455	1.0
3.357	1.4	19400	3.4379	1.0
3.3506	1.41	19500	3.4477	1.0
3.2944	1.42	19600	3.4478	1.0
3.241	1.43	19700	3.4492	1.0
3.4317	1.43	19800	3.4441	1.0
3.3478	1.44	19900	3.4385	1.0
3.3952	1.45	20000	3.4437	1.0
3.4808	1.46	20100	3.4644	1.0
3.3625	1.46	20200	3.4529	1.0
3.4842	1.47	20300	3.4524	1.0
3.3887	1.48	20400	3.4551	1.0
3.3198	1.48	20500	3.4433	1.0
3.3397	1.49	20600	3.4448	1.0
3.3173	1.5	20700	3.4590	1.0
3.3687	1.51	20800	3.4720	1.0
3.257	1.51	20900	3.4461	1.0
3.4451	1.52	21000	3.4541	1.0
3.2979	1.53	21100	3.4556	1.0
3.3566	1.53	21200	3.4438	1.0
3.3466	1.54	21300	3.4422	1.0
3.308	1.55	21400	3.4637	1.0
3.3952	1.56	21500	3.4435	1.0
3.4009	1.56	21600	3.4434	1.0
3.7952	1.57	21700	3.4675	1.0
3.3891	1.58	21800	3.4565	1.0
3.31	1.59	21900	3.4538	1.0
3.3186	1.59	22000	3.4492	1.0
3.3512	1.6	22100	3.4381	1.0
3.309	1.61	22200	3.4558	1.0
3.597	1.61	22300	3.4484	1.0
3.4474	1.62	22400	3.4574	1.0
3.3316	1.63	22500	3.4498	1.0
3.3909	1.64	22600	3.4384	1.0
3.6999	1.64	22700	3.4503	1.0
3.6071	1.65	22800	3.4578	1.0
3.2812	1.66	22900	3.4563	1.0
3.2921	1.67	23000	3.4564	1.0
3.3291	1.67	23100	3.4490	1.0
3.3454	1.68	23200	3.4403	1.0
3.4212	1.69	23300	3.4409	1.0
3.5481	1.69	23400	3.4534	1.0
3.2784	1.7	23500	3.4486	1.0
3.4625	1.71	23600	3.4413	1.0
3.2427	1.72	23700	3.4694	1.0
3.8438	1.72	23800	3.4444	1.0
3.4009	1.73	23900	3.4505	1.0
3.8029	1.74	24000	3.4712	1.0
3.36	1.74	24100	3.4552	1.0
3.2751	1.75	24200	3.4511	1.0
3.309	1.76	24300	3.4368	1.0
3.4597	1.77	24400	3.4517	1.0
3.2812	1.77	24500	3.4475	1.0
3.4425	1.78	24600	3.4413	1.0
3.3968	1.79	24700	3.4482	1.0
3.35	1.8	24800	3.4473	1.0
3.3156	1.8	24900	3.4435	1.0
3.3008	1.81	25000	3.4439	1.0
3.3365	1.82	25100	3.4382	1.0
3.5473	1.82	25200	3.4396	1.0
3.3568	1.83	25300	3.4577	1.0
3.28	1.84	25400	3.4458	1.0
3.4389	1.85	25500	3.4436	1.0
3.345	1.85	25600	3.4435	1.0
3.3295	1.86	25700	3.4428	1.0
4.4622	1.87	25800	3.4638	1.0
3.3717	1.88	25900	3.4450	1.0
3.3	1.88	26000	3.4616	1.0
3.3399	1.89	26100	3.4391	1.0
3.4243	1.9	26200	3.4375	1.0
3.326	1.9	26300	3.4533	1.0
3.3337	1.91	26400	3.4538	1.0
3.2655	1.92	26500	3.4460	1.0
3.2963	1.93	26600	3.4443	1.0
3.3967	1.93	26700	3.4392	1.0
3.3203	1.94	26800	3.4609	1.0
3.4581	1.95	26900	3.4388	1.0
3.2519	1.95	27000	3.4434	1.0
3.488	1.96	27100	3.4653	1.0
3.3446	1.97	27200	3.4465	1.0
3.4035	1.98	27300	3.4535	1.0
3.2898	1.98	27400	3.4442	1.0
3.3309	1.99	27500	3.4491	1.0
3.2765	2.0	27600	3.4477	1.0
3.3352	2.01	27700	3.4540	1.0
3.4456	2.01	27800	3.4602	1.0
3.6378	2.02	27900	3.4578	1.0
6.4491	2.03	28000	3.4494	1.0
6.1705	2.03	28100	3.4570	1.0
3.4253	2.04	28200	3.4504	1.0
3.4053	2.05	28300	3.4399	1.0
3.6719	2.06	28400	3.4464	1.0
3.2769	2.06	28500	3.4473	1.0
3.3132	2.07	28600	3.4484	1.0
3.3756	2.08	28700	3.4413	1.0
5.5583	2.08	28800	3.4411	1.0
3.6191	2.09	28900	3.4406	1.0
3.4681	2.1	29000	3.4461	1.0
4.463	2.11	29100	3.4409	1.0
3.4645	2.11	29200	3.4556	1.0
3.6549	2.12	29300	3.4545	1.0
3.437	2.13	29400	3.4410	1.0
3.5002	2.14	29500	3.4370	1.0
3.4375	2.14	29600	3.4407	1.0
3.3798	2.15	29700	3.4390	1.0
3.6778	2.16	29800	3.4386	1.0
3.4647	2.16	29900	3.4600	1.0
3.4328	2.17	30000	3.4492	1.0
3.4381	2.18	30100	3.4406	1.0
3.3253	2.19	30200	3.4461	1.0
3.4112	2.19	30300	3.4478	1.0
3.6158	2.2	30400	3.4482	1.0
3.5541	2.21	30500	3.4424	1.0
4.3339	2.22	30600	3.4432	1.0
3.818	2.22	30700	3.4453	1.0
3.8914	2.23	30800	3.4457	1.0
5.5706	2.24	30900	3.4605	1.0
4.3359	2.24	31000	3.4700	1.0
3.6418	2.25	31100	3.4558	1.0
3.4288	2.26	31200	3.4396	1.0
3.4512	2.27	31300	3.4411	1.0
3.3326	2.27	31400	3.4473	1.0
3.5872	2.28	31500	3.4400	1.0
3.5426	2.29	31600	3.4439	1.0