wav2vec2-bert-CV16-en开源自动语音识别模型 - 免费实现英文语音精准转文字

首页

Wav2vec2 Bert CV16 En

由 hf-audio 开发

基于w2v-bert-2.0在Common Voice 16.0英文数据集上微调的自动语音识别(ASR)模型

语音识别

Transformers

英语#英语语音识别 #低词错误率 #BERT增强

下载量 1,700

发布时间 : 1/5/2024

模型简介

该模型是用于英语语音识别的自动语音识别系统，在Common Voice 16.0英文数据集上进行了微调，能够将英语语音转换为文本

模型特点

高效语音识别

在Common Voice 16.0英文数据集上微调，具有较高的识别准确率

低词错误率

在评估集上取得14.55%的词错误率(WER)和5.8%的字符错误率(CER)

多GPU训练优化

支持多GPU分布式训练，采用Adam优化器和线性学习率调度

模型能力

英语语音识别

语音转文本

自动语音转录

使用案例

语音转录

语音备忘录转录

将英语语音备忘录自动转换为文本

准确率约85.45%(1-WER)

会议记录自动化

自动生成英语会议的文本记录

辅助技术

实时字幕生成

为英语视频内容生成实时字幕

🚀 wav2vec2-bert-CV16-en

该模型是 ylacombe/w2v-bert-2.0 在 MOZILLA-FOUNDATION/COMMON_VOICE_16_0 - EN 数据集上的微调版本。它在评估集上取得了以下结果：

损失：0.2427
词错误率（Wer）：0.1455
字符错误率（Cer）：0.0580

🚀 快速开始

此模型为语音识别模型，基于预训练模型 ylacombe/w2v-bert-2.0 在特定英文数据集上微调而来，可用于自动语音识别任务。

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

学习率（learning_rate）：5e-05
训练批次大小（train_batch_size）：12
评估批次大小（eval_batch_size）：12
随机种子（seed）：42
分布式类型（distributed_type）：多 GPU
设备数量（num_devices）：3
总训练批次大小（total_train_batch_size）：36
总评估批次大小（total_eval_batch_size）：36
优化器（optimizer）：Adam，β=(0.9, 0.999)，ε=1e-08
学习率调度器类型（lr_scheduler_type）：线性
学习率调度器预热步数（lr_scheduler_warmup_steps）：10000
训练轮数（num_epochs）：3.0
混合精度训练（mixed_precision_training）：原生自动混合精度（Native AMP）

训练结果

训练损失	轮数	步数	验证损失	词错误率（Wer）	字符错误率（Cer）
2.9554	0.01	250	3.1731	0.9999	0.9942
2.7058	0.02	500	2.6717	1.0307	0.7486
0.9641	0.02	750	0.9895	0.6091	0.2035
0.6935	0.03	1000	0.7740	0.4821	0.1562
0.617	0.04	1250	0.6751	0.4008	0.1303
0.4826	0.05	1500	0.5920	0.3499	0.1170
0.4252	0.06	1750	0.5659	0.3056	0.1053
0.472	0.07	2000	0.5066	0.2869	0.1007
0.4042	0.07	2250	0.4604	0.2662	0.0950
0.4279	0.08	2500	0.5165	0.2587	0.0948
0.3586	0.09	2750	0.4440	0.2461	0.0895
0.2715	0.1	3000	0.5096	0.2468	0.0904
0.413	0.11	3250	0.4416	0.2350	0.0879
0.3142	0.11	3500	0.4591	0.2280	0.0856
0.286	0.12	3750	0.4529	0.2284	0.0860
0.3112	0.13	4000	0.4621	0.2320	0.0875
0.3294	0.14	4250	0.4528	0.2294	0.0862
0.3522	0.15	4500	0.4279	0.2287	0.0861
0.2977	0.15	4750	0.4403	0.2200	0.0830
0.2391	0.16	5000	0.4360	0.2161	0.0831
0.3025	0.17	5250	0.4214	0.2157	0.0831
0.309	0.18	5500	0.4060	0.2125	0.0818
0.2872	0.19	5750	0.4233	0.2189	0.0824
0.2796	0.2	6000	0.4055	0.2151	0.0823
0.2609	0.2	6250	0.4374	0.2194	0.0853
0.283	0.21	6500	0.4288	0.2215	0.0877
0.3028	0.22	6750	0.4180	0.2166	0.0837
0.2565	0.23	7000	0.4476	0.2268	0.0892
0.2824	0.24	7250	0.4057	0.2195	0.0850
0.325	0.24	7500	0.3926	0.2157	0.0849
0.336	0.25	7750	0.4469	0.2208	0.0879
0.304	0.26	8000	0.4292	0.2245	0.0886
0.2457	0.27	8250	0.4198	0.2204	0.0856
0.2768	0.28	8500	0.4330	0.2184	0.0859
0.2165	0.29	8750	0.4276	0.2173	0.0864
0.3015	0.29	9000	0.4255	0.2223	0.0882
0.308	0.3	9250	0.4356	0.2318	0.0925
0.2981	0.31	9500	0.4514	0.2226	0.0884
0.2944	0.32	9750	0.4182	0.2293	0.0901
0.3298	0.33	10000	0.4290	0.2275	0.0892
0.2523	0.33	10250	0.4032	0.2191	0.0865
0.2887	0.34	10500	0.4218	0.2284	0.0917
0.3156	0.35	10750	0.3930	0.2271	0.0898
0.2526	0.36	11000	0.4367	0.2304	0.0928
0.2561	0.37	11250	0.4261	0.2279	0.0916
0.2291	0.37	11500	0.4401	0.2231	0.0899
0.2521	0.38	11750	0.4101	0.2232	0.0895
0.2249	0.39	12000	0.4021	0.2270	0.0913
0.2917	0.4	12250	0.4124	0.2267	0.0915
0.2436	0.41	12500	0.4197	0.2257	0.0903
0.2976	0.42	12750	0.3951	0.2230	0.0896
0.2333	0.42	13000	0.4099	0.2250	0.0901
0.2261	0.43	13250	0.4328	0.2168	0.0876
0.2514	0.44	13500	0.3947	0.2208	0.0895
0.296	0.45	13750	0.3953	0.2149	0.0859
0.2426	0.46	14000	0.3831	0.2119	0.0852
0.2258	0.46	14250	0.4060	0.2263	0.0915
0.2565	0.47	14500	0.4057	0.2237	0.0901
0.2834	0.48	14750	0.4112	0.2167	0.0876
0.234	0.49	15000	0.3802	0.2133	0.0852
0.3084	0.5	15250	0.3837	0.2151	0.0871
0.3051	0.51	15500	0.3848	0.2145	0.0867
0.2364	0.51	15750	0.3817	0.2134	0.0870
0.2345	0.52	16000	0.3883	0.2163	0.0874
0.2235	0.53	16250	0.3740	0.2136	0.0869
0.2365	0.54	16500	0.3711	0.2112	0.0850
0.2449	0.55	16750	0.3805	0.2127	0.0858
0.2569	0.55	17000	0.3794	0.2124	0.0863
0.2273	0.56	17250	0.3922	0.2207	0.0895
0.2492	0.57	17500	0.3670	0.2195	0.0874
0.236	0.58	17750	0.3799	0.2120	0.0862
0.2823	0.59	18000	0.3734	0.2144	0.0867
0.2349	0.59	18250	0.3972	0.2175	0.0889
0.2156	0.6	18500	0.3729	0.2157	0.0867
0.2812	0.61	18750	0.3905	0.2117	0.0854
0.242	0.62	19000	0.3912	0.2114	0.0855
0.2237	0.63	19250	0.3794	0.2155	0.0877
0.255	0.64	19500	0.3770	0.2079	0.0840
0.1899	0.64	19750	0.3796	0.2145	0.0868
0.2793	0.65	20000	0.3784	0.2145	0.0863
0.2099	0.66	20250	0.3956	0.2161	0.0875
0.22	0.67	20500	0.3804	0.2135	0.0875
0.2213	0.68	20750	0.3803	0.2100	0.0849
0.245	0.68	21000	0.3783	0.2142	0.0870
0.2188	0.69	21250	0.3873	0.2163	0.0861
0.2613	0.7	21500	0.3646	0.2105	0.0844
0.1907	0.71	21750	0.3830	0.2101	0.0853
0.2095	0.72	22000	0.3794	0.2087	0.0849
0.2319	0.73	22250	0.3548	0.2087	0.0842
0.2049	0.73	22500	0.3782	0.2075	0.0837
0.2248	0.74	22750	0.3736	0.2100	0.0845
0.2277	0.75	23000	0.3712	0.2105	0.0845
0.2115	0.76	23250	0.3722	0.2124	0.0859
0.2001	0.77	23500	0.3602	0.2072	0.0832
0.2095	0.77	23750	0.3607	0.2106	0.0851
0.2286	0.78	24000	0.3810	0.2132	0.0876
0.2284	0.79	24250	0.3677	0.2066	0.0847
0.2003	0.8	24500	0.3650	0.2098	0.0847
0.1992	0.81	24750	0.3491	0.2019	0.0813
0.224	0.81	25000	0.3602	0.2043	0.0825
0.2181	0.82	25250	0.3712	0.2120	0.0867
0.2226	0.83	25500	0.3657	0.2028	0.0830
0.1912	0.84	25750	0.3662	0.2076	0.0846
0.2283	0.85	26000	0.3505	0.2049	0.0825
0.2068	0.86	26250	0.3622	0.2111	0.0852
0.2444	0.86	26500	0.3660	0.2055	0.0840
0.2055	0.87	26750	0.3625	0.2055	0.0830
0.2074	0.88	27000	0.3566	0.1981	0.0812
0.2019	0.89	27250	0.3537	0.2038	0.0822
0.2174	0.9	27500	0.3664	0.1990	0.0809
0.2009	0.9	27750	0.3512	0.2035	0.0821
0.211	0.91	28000	0.3707	0.2068	0.0846
0.2541	0.92	28250	0.3435	0.1992	0.0812
0.2108	0.93	28500	0.3461	0.2046	0.0828
0.2274	0.94	28750	0.3364	0.1998	0.0812
0.2175	0.95	29000	0.3742	0.2113	0.0864
0.2368	0.95	29250	0.3431	0.2051	0.0833
0.1831	0.96	29500	0.3468	0.2034	0.0825
0.2202	0.97	29750	0.3342	0.1964	0.0791
0.183	0.98	30000	0.3413	0.1966	0.0792
0.1958	0.99	30250	0.3466	0.1991	0.0809
0.2167	0.99	30500	0.3530	0.2024	0.0816
0.2057	1.0	30750	0.3334	0.1960	0.0788
0.1982	1.01	31000	0.3312	0.1951	0.0789
0.2123	1.02	31250	0.3285	0.1955	0.0785
0.2269	1.03	31500	0.3548	0.2034	0.0812
0.2056	1.03	31750	0.3433	0.1969	0.0793
0.2234	1.04	32000	0.3446	0.1981	0.0805
0.1913	1.05	32250	0.3465	0.1969	0.0792
0.2005	1.06	32500	0.3348	0.1947	0.0784
0.2017	1.07	32750	0.3567	0.1972	0.0796
0.2523	1.08	33000	0.3367	0.1971	0.0801
0.1716	1.08	33250	0.3476	0.1975	0.0799
0.168	1.09	33500	0.3346	0.1951	0.0790
0.1995	1.1	33750	0.3564	0.1971	0.0794
0.198	1.11	34000	0.3409	0.1988	0.0796
0.1801	1.12	34250	0.3303	0.1995	0.0798
0.181	1.12	34500	0.3363	0.1967	0.0794
0.1966	1.13	34750	0.3375	0.1947	0.0784
0.2163	1.14	35000	0.3441	0.2011	0.0810
0.2285	1.15	35250	0.3303	0.1972	0.0801
0.1814	1.16	35500	0.3462	0.1895	0.0772
0.2127	1.17	35750	0.3393	0.1904	0.0775
0.1795	1.17	36000	0.3374	0.1928	0.0780
0.2062	1.18	36250	0.3286	0.1929	0.0783
0.172	1.19	36500	0.3334	0.1929	0.0781
0.1534	1.2	36750	0.3287	0.1895	0.0763
0.2101	1.21	37000	0.3261	0.1888	0.0764
0.2342	1.21	37250	0.3413	0.2007	0.0812
0.1692	1.22	37500	0.3375	0.1932	0.0780
0.165	1.23	37750	0.3220	0.1903	0.0767
0.2067	1.24	38000	0.3212	0.1855	0.0754
0.1984	1.25	38250	0.3339	0.1890	0.0762
0.2117	1.25	38500	0.3224	0.1900	0.0761
0.2036	1.26	38750	0.3410	0.1923	0.0790
0.2072	1.27	39000	0.3291	0.1904	0.0770
0.1962	1.28	39250	0.3237	0.1908	0.0770
0.2055	1.29	39500	0.3260	0.1896	0.0767
0.1753	1.3	39750	0.3375	0.1915	0.0777
0.1983	1.3	40000	0.3236	0.1850	0.0750
0.173	1.31	40250	0.3253	0.1870	0.0754
0.1773	1.32	40500	0.3316	0.1923	0.0766
0.1649	1.33	40750	0.3218	0.1842	0.0749
0.1806	1.34	41000	0.3161	0.1907	0.0769
0.1639	1.34	41250	0.3293	0.1898	0.0773
0.1733	1.35	41500	0.3148	0.1881	0.0756
0.1603	1.36	41750	0.3137	0.1851	0.0748
0.1753	1.37	42000	0.3100	0.1857	0.0751
0.1823	1.38	42250	0.3170	0.1821	0.0740
0.1647	1.39	42500	0.3210	0.1863	0.0758
0.1699	1.39	42750	0.3151	0.1861	0.0761
0.1693	1.4	43000	0.3184	0.1800	0.0730
0.1885	1.41	43250	0.3089	0.1830	0.0739
0.1626	1.42	43500	0.3203	0.1852	0.0746
0.1707	1.43	43750	0.3263	0.1834	0.0745
0.1997	1.43	44000	0.3092	0.1807	0.0732
0.1568	1.44	44250	0.3096	0.1828	0.0742
0.1698	1.45	44500	0.3142	0.1826	0.0736
0.165	1.46	44750	0.3205	0.1903	0.0765
0.1834	1.47	45000	0.3226	0.1855	0.0750
0.1614	1.47	45250	0.3141	0.1825	0.0737
0.1794	1.48	45500	0.3100	0.1823	0.0734
0.1838	1.49	45750	0.2988	0.1825	0.0732
0.1678	1.5	46000	0.3061	0.1797	0.0726
0.1691	1.51	46250	0.3192	0.1821	0.0743
0.1743	1.52	46500	0.3133	0.1815	0.0736
0.1666	1.52	46750	0.3034	0.1821	0.0731
0.1903	1.53	47000	0.3016	0.1792	0.0721
0.2236	1.54	47250	0.3137	0.1819	0.0739
0.1469	1.55	47500	0.3092	0.1796	0.0725
0.175	1.56	47750	0.3009	0.1753	0.0715
0.1578	1.56	48000	0.3023	0.1778	0.0717
0.1998	1.57	48250	0.3059	0.1816	0.0726
0.1887	1.58	48500	0.3063	0.1791	0.0720
0.1635	1.59	48750	0.3027	0.1786	0.0722
0.2074	1.6	49000	0.3001	0.1756	0.0708
0.1719	1.61	49250	0.2957	0.1788	0.0718
0.1654	1.61	49500	0.3020	0.1795	0.0721
0.1572	1.62	49750	0.3011	0.1769	0.0710
0.177	1.63	50000	0.2929	0.1783	0.0712
0.1771	1.64	50250	0.3082	0.1812	0.0722
0.1796	1.65	50500	0.2946	0.1781	0.0713
0.1585	1.65	50750	0.3107	0.1819	0.0733
0.1815	1.66	51000	0.3073	0.1775	0.0721
0.1601	1.67	51250	0.3020	0.1734	0.0701
0.1769	1.68	51500	0.3063	0.1771	0.0710
0.1786	1.69	51750	0.3014	0.1766	0.0703
0.1743	1.69	52000	0.3096	0.1767	0.0710
0.1864	1.7	52250	0.3063	0.1802	0.0720
0.1399	1.71	52500	0.3094	0.1773	0.0718
0.1678	1.72	52750	0.3073	0.1796	0.0724
0.1497	1.73	53000	0.2959	0.1753	0.0701
0.1565	1.74	53250	0.2955	0.1729	0.0690
0.1942	1.74	53500	0.2926	0.1742	0.0693
0.1848	1.75	53750	0.2897	0.1721	0.0686
0.1664	1.76	54000	0.2951	0.1787	0.0708
0.1296	1.77	54250	0.2899	0.1705	0.0679
0.1763	1.78	54500	0.2877	0.1725	0.0686
0.1627	1.78	54750	0.2959	0.1735	0.0697
0.1433	1.79	55000	0.2952	0.1729	0.0693
0.1632	1.8	55250	0.2829	0.1728	0.0686
0.1837	1.81	55500	0.2840	0.1734	0.0688
0.146	1.82	55750	0.2855	0.1686	0.0675
0.1862	1.83	56000	0.2845	0.1721	0.0691
0.1576	1.83	56250	0.2917	0.1762	0.0703
0.1183	1.84	56500	0.2828	0.1713	0.0687
0.1582	1.85	56750	0.2910	0.1708	0.0684
0.1699	1.86	57000	0.2927	0.1733	0.0693
0.1761	1.87	57250	0.2812	0.1687	0.0671
0.1421	1.87	57500	0.2869	0.1699	0.0683
0.1662	1.88	57750	0.2913	0.1748	0.0697
0.151	1.89	58000	0.2984	0.1736	0.0692
0.1513	1.9	58250	0.2862	0.1715	0.0683
0.165	1.91	58500	0.2808	0.1691	0.0675
0.1391	1.91	58750	0.2848	0.1696	0.0676
0.1297	1.92	59000	0.2837	0.1666	0.0666
0.1398	1.93	59250	0.2771	0.1682	0.0673
0.1356	1.94	59500	0.2868	0.1710	0.0686
0.1552	1.95	59750	0.2817	0.1707	0.0687
0.1697	1.96	60000	0.2901	0.1691	0.0673
0.1545	1.96	60250	0.2796	0.1671	0.0668
0.1598	1.97	60500	0.2791	0.1655	0.0664
0.147	1.98	60750	0.2775	0.1673	0.0665
0.1658	1.99	61000	0.2742	0.1681	0.0665
0.1501	2.0	61250	0.2811	0.1702	0.0676
0.1428	2.0	61500	0.2827	0.1669	0.0665
0.1107	2.01	61750	0.2854	0.1649	0.0664
0.1176	2.02	62000	0.2881	0.1650	0.0661
0.1032	2.03	62250	0.2706	0.1647	0.0657
0.1229	2.04	62500	0.2806	0.1678	0.0666
0.1397	2.05	62750	0.2799	0.1634	0.0654
0.1182	2.05	63000	0.2799	0.1653	0.0662
0.1294	2.06	63250	0.2746	0.1635	0.0656
0.1358	2.07	63500	0.2738	0.1643	0.0653
0.1464	2.08	63750	0.2793	0.1662	0.0664
0.1362	2.09	64000	0.2738	0.1635	0.0650
0.1264	2.09	64250	0.2795	0.1653	0.0666
0.1189	2.1	64500	0.2792	0.1657	0.0658
0.1157	2.11	64750	0.2754	0.1619	0.0648
0.1232	2.12	65000	0.2798	0.1627	0.0646
0.1209	2.13	65250	0.2723	0.1623	0.0654
0.1079	2.13	65500	0.2769	0.1611	0.0644
0.1217	2.14	65750	0.2694	0.1604	0.0642
0.1207	2.15	66000	0.2758	0.1608	0.0645
0.1515	0.16	66250	0.2758	0.1608	0.0645