wav2vec2-1b-npsc-nst-bokmaal开源模型 - 助力挪威语Bokmål方言语音识别

Home

Wav2vec2 1b Npsc Nst Bokmaal

Developed by NbAiLab

该模型是基于facebook/wav2vec2-xls-r-1b在挪威语Bokmål方言语音数据集上微调的自动语音识别(ASR)模型

语音识别

Transformers

Open Source License:Apache-2.0 #挪威语音识别 #大规模预训练 #低词错误率

Downloads 30

Release Time : 5/23/2022

Model Overview

一个针对挪威语Bokmål方言优化的语音识别模型，基于wav2vec2-xls-r-1b架构微调，具有较高的识别准确率

Model Features

高准确率

在评估集上取得0.0345的低词错误率(WER)

大规模预训练

基于10亿参数的大规模wav2vec2-xls-r模型微调

挪威语优化

专门针对挪威语Bokmål方言进行优化

Model Capabilities

挪威语语音识别

语音转文本

音频内容理解

Use Cases

语音转录

挪威语会议记录

将挪威语会议录音自动转录为文字记录

高准确率的转录结果

语音助手

为挪威语语音助手提供语音识别能力

教育

语言学习应用

帮助学习者练习挪威语发音和听力

🚀 wav2vec2-1b-npsc-nst-bokmaal

本模型是 facebook/wav2vec2-xls-r-1b 在 None 数据集上的微调版本。它在评估集上取得了以下结果：

损失值：0.0636
字错率（Wer）：0.0345

🚀 快速开始

该模型是基于 facebook/wav2vec2-xls-r-1b 微调而来，可用于语音相关任务。

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

学习率（learning_rate）：2e-05
训练批次大小（train_batch_size）：12
评估批次大小（eval_batch_size）：12
随机种子（seed）：42
梯度累积步数（gradient_accumulation_steps）：2
总训练批次大小（total_train_batch_size）：24
优化器（optimizer）：Adam，β1 = 0.9，β2 = 0.999，ε = 1e-08
学习率调度器类型（lr_scheduler_type）：线性
学习率调度器热身步数（lr_scheduler_warmup_steps）：2000
训练轮数（num_epochs）：40.0
混合精度训练（mixed_precision_training）：原生自动混合精度（Native AMP）

训练结果

训练损失	轮数	步数	验证损失	字错率（Wer）
2.9289	0.04	500	2.7971	1.0
0.7651	0.08	1000	0.5766	0.5701
0.518	0.12	1500	0.3660	0.3564
0.5481	0.16	2000	0.2730	0.2557
0.4286	0.2	2500	0.2282	0.2385
0.4543	0.24	3000	0.1852	0.1843
0.4064	0.28	3500	0.1574	0.1544
0.3308	0.32	4000	0.1558	0.1404
0.3005	0.36	4500	0.1417	0.1349
0.2898	0.4	5000	0.1304	0.1301
0.2739	0.44	5500	0.1316	0.1258
0.2429	0.48	6000	0.1222	0.1221
0.2405	0.52	6500	0.1224	0.1147
0.2681	0.56	7000	0.1162	0.1119
0.2382	0.6	7500	0.1251	0.1338
0.2193	0.64	8000	0.1121	0.1087
0.2235	0.68	8500	0.1058	0.1059
0.2124	0.72	9000	0.1106	0.1060
0.2076	0.76	9500	0.1023	0.1003
0.2082	0.8	10000	0.0985	0.1037
0.2272	0.84	10500	0.0990	0.1019
0.1903	0.88	11000	0.0982	0.0978
0.2044	0.92	11500	0.0966	0.0991
0.1976	0.96	12000	0.0925	0.0958
0.1966	1.0	12500	0.0924	0.0929
0.1959	1.04	13000	0.0888	0.0918
0.1727	1.08	13500	0.0901	0.0943
0.1853	1.12	14000	0.0934	0.0890
0.1791	1.16	14500	0.0935	0.0914
0.1872	1.2	15000	0.0851	0.0883
0.1821	1.24	15500	0.0857	0.0873
0.1756	1.28	16000	0.0884	0.0890
0.1666	1.32	16500	0.0871	0.0849
0.1708	1.36	17000	0.0837	0.0863
0.1653	1.4	17500	0.0831	0.0849
0.1734	1.44	18000	0.0808	0.0850
0.1643	1.48	18500	0.0814	0.0835
0.1635	1.52	19000	0.0810	0.0816
0.1611	1.56	19500	0.0827	0.0829
0.1633	1.6	20000	0.0797	0.0820
0.1626	1.64	20500	0.0789	0.0820
0.1618	1.68	21000	0.0766	0.0817
0.1634	1.72	21500	0.0783	0.0832
0.1761	1.76	22000	0.0787	0.0817
0.1518	1.8	22500	0.0775	0.0817
0.1492	1.84	23000	0.0785	0.0802
0.1652	1.88	23500	0.0759	0.0783
0.1545	1.92	24000	0.0758	0.0788
0.1548	1.96	24500	0.0774	0.0816
0.1641	2.0	25000	0.0734	0.0780
0.1506	2.04	25500	0.0718	0.0748
0.1474	2.08	26000	0.0748	0.0746
0.137	2.12	26500	0.0736	0.0744
0.1483	2.16	27000	0.0744	0.0763
0.1472	2.2	27500	0.0728	0.0736
0.143	2.24	28000	0.0708	0.0767
0.1467	2.28	28500	0.0721	0.0737
0.1286	2.32	29000	0.0701	0.0748
0.1407	2.36	29500	0.0695	0.0740
0.1377	2.4	30000	0.0674	0.0725
0.1344	2.44	30500	0.0696	0.0711
0.1337	2.48	31000	0.0686	0.0733
0.1384	2.52	31500	0.0686	0.0710
0.1355	2.56	32000	0.0667	0.0721
0.1334	2.6	32500	0.0665	0.0712
0.1401	2.64	33000	0.0694	0.0719
0.1368	2.68	33500	0.0689	0.0692
0.1259	2.72	34000	0.0669	0.0701
0.1354	2.76	34500	0.0672	0.0691
0.1319	2.8	35000	0.0707	0.0702
0.1408	2.84	35500	0.0650	0.0685
0.1355	2.88	36000	0.0671	0.0696
0.1252	2.92	36500	0.0655	0.0671
0.155	2.96	37000	0.0662	0.0679
0.1266	3.0	37500	0.0654	0.0669
0.1183	3.04	38000	0.0655	0.0664
0.1213	3.08	38500	0.0668	0.0665
0.1099	3.12	39000	0.0662	0.0660
0.1196	3.16	39500	0.0652	0.0657
0.1253	3.2	40000	0.0674	0.0655
0.1172	3.24	40500	0.0656	0.0654
0.1207	3.28	41000	0.0640	0.0660
0.1228	3.32	41500	0.0668	0.0658
0.1203	3.36	42000	0.0640	0.0642
0.1284	3.4	42500	0.0650	0.0664
0.1058	3.44	43000	0.0618	0.0648
0.1236	3.48	43500	0.0638	0.0649
0.1149	3.52	44000	0.0636	0.0653
0.1203	3.56	44500	0.0633	0.0644
0.114	3.6	45000	0.0624	0.0635
0.1201	3.64	45500	0.0608	0.0638
0.121	3.68	46000	0.0610	0.0631
0.1125	3.72	46500	0.0603	0.0634
0.1149	3.76	47000	0.0616	0.0644
0.1119	3.8	47500	0.0623	0.0638
0.124	3.84	48000	0.0610	0.0629
0.1113	3.88	48500	0.0612	0.0616
0.116	3.92	49000	0.0607	0.0641
0.1096	3.96	49500	0.0603	0.0626
0.1144	4.0	50000	0.0607	0.0617
0.1052	4.04	50500	0.0597	0.0612
0.1163	4.08	51000	0.0607	0.0631
0.1031	4.12	51500	0.0605	0.0609
0.1087	4.16	52000	0.0617	0.0621
0.1132	4.2	52500	0.0618	0.0611
0.0956	4.24	53000	0.0619	0.0615
0.1055	4.28	53500	0.0602	0.0607
0.1088	4.32	54000	0.0608	0.0595
0.1153	4.36	54500	0.0598	0.0605
0.0997	4.4	55000	0.0590	0.0605
0.1092	4.44	55500	0.0597	0.0606
0.1112	4.48	56000	0.0602	0.0594
0.0959	4.52	56500	0.0595	0.0591
0.1072	4.56	57000	0.0592	0.0602
0.1068	4.6	57500	0.0586	0.0594
0.111	4.64	58000	0.0570	0.0587
0.1	4.68	58500	0.0594	0.0596
0.1082	4.72	59000	0.0589	0.0590
0.1023	4.76	59500	0.0574	0.0590
0.1053	4.8	60000	0.0575	0.0588
0.0984	4.84	60500	0.0575	0.0583
0.0995	4.88	61000	0.0597	0.0591
0.0955	4.92	61500	0.0560	0.0590
0.1186	4.96	62000	0.0591	0.0577
0.0976	5.0	62500	0.0573	0.0585
0.1049	5.04	63000	0.0578	0.0572
0.0953	5.08	63500	0.0587	0.0574
0.0976	5.12	64000	0.0567	0.0589
0.1019	5.16	64500	0.0583	0.0582
0.0986	5.2	65000	0.0577	0.0571
0.0985	5.24	65500	0.0572	0.0577
0.103	5.28	66000	0.0581	0.0593
0.101	5.32	66500	0.0575	0.0579
0.1085	5.36	67000	0.0582	0.0583
0.1029	5.4	67500	0.0565	0.0581
0.0954	5.44	68000	0.0560	0.0582
0.0974	5.48	68500	0.0565	0.0577
0.0929	5.52	69000	0.0573	0.0575
0.099	5.56	69500	0.0565	0.0561
0.1009	5.6	70000	0.0566	0.0563
0.2268	5.64	70500	0.0564	0.0569
0.0974	5.68	71000	0.0565	0.0567
0.1101	5.72	71500	0.0573	0.0559
0.088	5.76	72000	0.0576	0.0551
0.1106	5.8	72500	0.0553	0.0559
0.0934	5.84	73000	0.0548	0.0561
0.0949	5.88	73500	0.0552	0.0560
0.0906	5.92	74000	0.0538	0.0570
0.1038	5.96	74500	0.0563	0.0563
0.1056	6.0	75000	0.0564	0.0556
0.0983	6.04	75500	0.0570	0.0560
0.0917	6.08	76000	0.0563	0.0560
0.096	6.12	76500	0.0558	0.0549
0.0971	6.16	77000	0.0569	0.0564
0.0917	6.2	77500	0.0569	0.0552
0.0896	6.24	78000	0.0568	0.0550
0.0886	6.28	78500	0.0550	0.0550
0.0917	6.32	79000	0.0554	0.0562
0.0839	6.36	79500	0.0551	0.0570
0.0856	6.4	80000	0.0533	0.0545
0.0939	6.44	80500	0.0564	0.0545
0.0868	6.48	81000	0.0556	0.0557
0.0882	6.52	81500	0.0547	0.0544
0.0925	6.56	82000	0.0577	0.0557
0.0866	6.6	82500	0.0534	0.0555
0.091	6.64	83000	0.0565	0.0552
0.1033	6.68	83500	0.0539	0.0551
0.0953	6.72	84000	0.0527	0.0545
0.0866	6.76	84500	0.0547	0.0546
0.0912	6.8	85000	0.0547	0.0557
0.0901	6.84	85500	0.0533	0.0544
0.0859	6.88	86000	0.0556	0.0540
0.2118	6.92	86500	0.0527	0.0545
0.0868	6.96	87000	0.0546	0.0537
0.097	7.0	87500	0.0520	0.0557
0.0835	7.04	88000	0.0542	0.0538
0.084	7.08	88500	0.0545	0.0543
0.0983	7.12	89000	0.0528	0.0557
0.09	7.16	89500	0.0542	0.0540
0.0879	7.2	90000	0.0559	0.0533
0.0818	7.24	90500	0.0546	0.0529
0.0849	7.28	91000	0.0535	0.0533
0.0777	7.32	91500	0.0548	0.0544
0.0887	7.36	92000	0.0545	0.0533
0.0886	7.4	92500	0.0545	0.0527
0.0752	7.44	93000	0.0552	0.0531
0.0819	7.48	93500	0.0525	0.0532
0.0753	7.52	94000	0.0522	0.0515
0.0834	7.56	94500	0.0521	0.0525
0.0895	7.6	95000	0.0540	0.0537
0.0865	7.64	95500	0.0532	0.0530
0.0828	7.68	96000	0.0532	0.0528
0.0836	7.72	96500	0.0545	0.0532
0.0852	7.76	97000	0.0555	0.0515
0.0853	7.8	97500	0.0536	0.0523
0.0854	7.85	98000	0.0517	0.0523
0.0729	7.89	98500	0.0541	0.0523
0.0831	7.93	99000	0.0541	0.0520
0.0884	7.97	99500	0.0526	0.0525
0.0796	8.01	100000	0.0545	0.0521
0.0797	8.05	100500	0.0513	0.0513
0.0792	8.09	101000	0.0531	0.0518
0.0816	8.13	101500	0.0517	0.0516
0.0761	8.17	102000	0.0522	0.0514
0.0752	8.21	102500	0.0538	0.0524
0.0801	8.25	103000	0.0520	0.0519
0.0734	8.29	103500	0.0525	0.0513
0.0752	8.33	104000	0.0532	0.0514
0.0792	8.37	104500	0.0513	0.0525
0.0776	8.41	105000	0.0527	0.0514
0.0741	8.45	105500	0.0520	0.0516
0.0843	8.49	106000	0.0546	0.0511
0.0801	8.53	106500	0.0511	0.0513
0.1934	8.57	107000	0.0505	0.0513
0.0747	8.61	107500	0.0524	0.0507
0.0721	8.65	108000	0.0536	0.0505
0.0798	8.69	108500	0.0519	0.0520
0.0721	8.73	109000	0.0532	0.0501
0.0771	8.77	109500	0.0515	0.0509
0.0771	8.81	110000	0.0549	0.0507
0.0836	8.85	110500	0.0519	0.0501
0.0832	8.89	111000	0.0509	0.0505
0.0769	8.93	111500	0.0506	0.0502
0.0767	8.97	112000	0.0500	0.0507
0.0814	9.01	112500	0.0503	0.0495
0.0734	9.05	113000	0.0518	0.0501
0.0792	9.09	113500	0.0527	0.0501
0.0733	9.13	114000	0.0516	0.0497
0.0666	9.17	114500	0.0539	0.0503
0.0676	9.21	115000	0.0524	0.0506
0.0681	9.25	115500	0.0526	0.0502
0.0732	9.29	116000	0.0535	0.0502
0.07	9.33	116500	0.0511	0.0501
0.0744	9.37	117000	0.0518	0.0501
0.0675	9.41	117500	0.0522	0.0495
0.0808	9.45	118000	0.0515	0.0496
0.0748	9.49	118500	0.0535	0.0506
0.073	9.53	119000	0.0524	0.0496
0.0726	9.57	119500	0.0530	0.0497
0.0644	9.61	120000	0.0518	0.0506
0.0699	9.65	120500	0.0507	0.0499
0.0669	9.69	121000	0.0522	0.0502
0.0754	9.73	121500	0.0512	0.0491
0.0754	9.77	122000	0.0503	0.0493
0.0732	9.81	122500	0.0511	0.0488
0.0753	9.85	123000	0.0496	0.0491
0.0674	9.89	123500	0.0511	0.0489
0.076	9.93	124000	0.0494	0.0492
0.0763	9.97	124500	0.0513	0.0492
0.0718	10.01	125000	0.0505	0.0496
0.0651	10.05	125500	0.0504	0.0490
0.0686	10.09	126000	0.0521	0.0494
0.1797	10.13	126500	0.0493	0.0491
0.0744	10.17	127000	0.0537	0.0486
0.0726	10.21	127500	0.0509	0.0485
0.0727	10.25	128000	0.0508	0.0489
0.0639	10.29	128500	0.0498	0.0483
0.0717	10.33	129000	0.0506	0.0486
0.0698	10.37	129500	0.0507	0.0483
0.0684	10.41	130000	0.0521	0.0485
0.0652	10.45	130500	0.0495	0.0481
0.0695	10.49	131000	0.0512	0.0483
0.0699	10.53	131500	0.0500	0.0478
0.0697	10.57	132000	0.0502	0.0479
0.0722	10.61	132500	0.0515	0.0491
0.0629	10.65	133000	0.0518	0.0485
0.0781	10.69	133500	0.0507	0.0475
0.0638	10.73	134000	0.0495	0.0477
0.0653	10.77	134500	0.0520	0.0480
0.0615	10.81	135000	0.0505	0.0482
0.0776	10.85	135500	0.0521	0.0483
0.0653	10.89	136000	0.0526	0.0476
0.0776	10.93	136500	0.0503	0.0480
0.0749	10.97	137000	0.0512	0.0483
0.069	11.01	137500	0.0507	0.0474
0.0667	11.05	138000	0.0521	0.0477
0.0644	11.09	138500	0.0504	0.0480
0.0596	11.13	139000	0.0541	0.0479
0.0674	11.17	139500	0.0499	0.0482
0.0705	11.21	140000	0.0502	0.0477
0.0708	11.25	140500	0.0507	0.0484
0.0678	11.29	141000	0.0506	0.0482
0.0616	11.33	141500	0.0501	0.0478
0.0742	11.37	142000	0.0509	0.0477
0.0634	11.41	142500	0.0518	0.0483
0.0619	11.45	143000	0.0528	0.0472
0.0634	11.49	143500	0.0512	0.0473
0.0686	11.53	144000	0.0507	0.0475
0.0688	11.57	144500	0.0522	0.0472
0.068	11.61	145000	0.0518	0.0477
0.0663	11.65	145500	0.0509	0.0471
0.0665	11.69	146000	0.0505	0.0471
0.0612	11.73	146500	0.0518	0.0472
0.0661	11.77	147000	0.0493	0.0470
0.0658	11.81	147500	0.0485	0.0477
0.0615	11.85	148000	0.0515	0.0469
0.0679	11.89	148500	0.0491	0.0472
0.0731	11.93	149000	0.0494	0.0468
0.0616	11.97	149500	0.0507	0.0472
0.0765	12.01	150000	0.0514	0.0474
0.0615	12.05	150500	0.0517