wav2vec2-xlsr-1B-NPSC-NN開源模型 - 新挪威語語音自動識別免費可用

首頁

Wav2vec2 Xlsr 1B NPSC NN

由NbAiLab開發

基於facebook/wav2vec2-xls-r-1b在新挪威語(NN)語音數據集上微調的自動語音識別模型

語音識別

Transformers

開源協議:Apache-2.0 #新挪威語語音識別 #低詞錯誤率 #大模型微調

下載量 22

發布時間 : 3/2/2022

模型概述

這是一個針對新挪威語優化的語音識別模型，在NPSC數據集上微調，具有較低的詞錯誤率和字符錯誤率。

模型特點

低錯誤率

在新挪威語測試集上達到13.35%的詞錯誤率和4.54%的字符錯誤率

大模型基礎

基於facebook的wav2vec2-xls-r-1b大模型微調，具備強大的語音特徵提取能力

專業數據集訓練

使用NbAiLab/NPSC專業語音數據集進行訓練，針對新挪威語優化

模型能力

新挪威語語音識別

16KHz音頻處理

高精度轉錄

使用案例

語音轉錄

會議記錄

將新挪威語會議錄音轉換為文字記錄

高準確率的轉錄結果

媒體字幕生成

為新挪威語視頻內容自動生成字幕

減少人工字幕製作工作量

語音分析

語音數據分析

分析新挪威語語音數據中的語言特徵

支持語言學研究和語音分析

🚀 wav2vec2-xlsr-1B-NPSC-NN

本模型是 facebook/wav2vec2-xls-r-1b 在 NBAILAB/NPSC - 16K_MP3 數據集上的微調版本。它在評估集上取得了以下結果：

損失值：0.4562
字錯率（Wer）：0.1531

📚 詳細文檔

模型信息

屬性	詳情
模型類型	wav2vec2-xlsr-1B-NPSC-NN
訓練數據集	NbAiLab/NPSC
語言	nn-NO

評估指標

該模型在 NPSC 數據集的 16K_mp3_nynorsk 數據上進行評估，結果如下：

測試（尼諾斯克語）字錯率（WER）：0.13347099680871036
測試（尼諾斯克語）字符錯誤率（CER）：0.04537322093454329

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

學習率：6e-05
訓練批次大小：8
評估批次大小：8
隨機種子：42
梯度累積步數：2
總訓練批次大小：16
優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
學習率調度器類型：線性
學習率調度器熱身步數：2000
訓練輪數：50.0
混合精度訓練：原生自動混合精度（Native AMP）

訓練結果

訓練損失	輪數	步數	驗證損失	字錯率（Wer）
1.6894	1.08	500	1.2423	0.8619
0.7543	2.15	1000	0.5956	0.3817
0.5481	3.23	1500	0.5043	0.3246
0.4661	4.3	2000	0.4813	0.2793
0.3901	5.38	2500	0.4371	0.2592
0.3512	6.45	3000	0.4216	0.2458
0.3016	7.53	3500	0.3814	0.2257
0.278	8.6	4000	0.4151	0.2145
0.2435	9.68	4500	0.4816	0.2130
0.2122	10.75	5000	0.4489	0.2137
0.1949	11.83	5500	0.3978	0.2063
0.1929	12.9	6000	0.3823	0.2026
0.1757	13.98	6500	0.3409	0.1965
0.1771	15.05	7000	0.3844	0.1936
0.1452	16.13	7500	0.3749	0.1900
0.1341	17.2	8000	0.4407	0.2026
0.13	18.28	8500	0.4253	0.1883
0.1183	19.35	9000	0.4311	0.1880
0.118	20.43	9500	0.4431	0.1882
0.1123	21.51	10000	0.4753	0.1820
0.1037	22.58	10500	0.4087	0.1834
0.1066	23.66	11000	0.4151	0.1845
0.0977	24.73	11500	0.4367	0.1783
0.0968	25.81	12000	0.4237	0.1756
0.0835	26.88	12500	0.4729	0.1781
0.0919	27.96	13000	0.4153	0.1701
0.0677	29.03	13500	0.4317	0.1693
0.0726	30.11	14000	0.4380	0.1736
0.066	31.18	14500	0.4384	0.1681
0.0713	32.26	15000	0.4215	0.1629
0.0605	33.33	15500	0.4574	0.1714
0.0632	34.41	16000	0.4343	0.1642
0.0567	35.48	16500	0.4231	0.1601
0.0556	36.56	17000	0.4404	0.1667
0.0426	37.63	17500	0.4459	0.1625
0.0445	38.71	18000	0.4484	0.1629
0.0463	39.78	18500	0.4508	0.1596
0.0448	40.86	19000	0.4395	0.1605
0.0434	41.94	19500	0.4490	0.1607
0.0347	43.01	20000	0.4772	0.1582
0.0332	44.09	20500	0.4729	0.1582
0.037	45.16	21000	0.4559	0.1573
0.0328	46.24	21500	0.4664	0.1560
0.0366	47.31	22000	0.4543	0.1543
0.0377	48.39	22500	0.4507	0.1560
0.0331	49.46	23000	0.4567	0.1533