XLSR-1B-bokmaal-low Open-source Speech Recognition Model - Free Support for Low-resource Speech Recognition of Norwegian Written Language

XLSR 1B Bokmaal Low

Developed by NbAiLab

XLSR-1B-bokmaal-low is an automatic speech recognition (ASR) model focused on low-resource speech recognition tasks for Norwegian Bokmål.

Speech Recognition

Transformers

#Norwegian speech recognition #Low word error rate #Large-scale pretraining

Downloads 16

Release Time : 3/2/2022

Model Overview

This model is trained for automatic speech recognition tasks, specifically optimized for low-resource scenarios in Norwegian Bokmål.

Model Features

Low-resource optimization

Specially optimized for low-resource scenarios in Norwegian Bokmål

High performance

Achieved a word error rate (WER) of 7.22% on the evaluation set

Large-scale training

Based on a large-scale model architecture with 1B parameters

Model Capabilities

Norwegian Bokmål speech recognition

Low-resource speech processing

Use Cases

Speech-to-text

Norwegian meeting transcription

Automatically convert Norwegian meeting recordings into text transcripts

Word error rate 7.22%

Voice assistant

Provide speech recognition capabilities for Norwegian voice assistants

🚀 XLSR-1B-bokmaal-low

This model was trained from scratch on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.1579
Wer: 0.0722

📚 Documentation

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

🔧 Technical Details

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1.7e-05
train_batch_size: 12
eval_batch_size: 12
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 24
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 34.0
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.434	0.24	500	0.1704	0.1378
0.2833	0.48	1000	0.1638	0.1324
0.2478	0.72	1500	0.1606	0.1240
0.2276	0.97	2000	0.1562	0.1212
0.2208	1.21	2500	0.1576	0.1172
0.2148	1.45	3000	0.1502	0.1119
0.1994	1.69	3500	0.1409	0.1110
0.1932	1.93	4000	0.1432	0.1112
0.2122	2.17	4500	0.1443	0.1098
0.2177	2.42	5000	0.1329	0.1102
0.2058	2.66	5500	0.1403	0.1070
0.2216	2.9	6000	0.1342	0.1067
0.1984	3.14	6500	0.1370	0.1030
0.2056	3.38	7000	0.1371	0.1041
0.1735	3.62	7500	0.1296	0.1003
0.203	3.87	8000	0.1301	0.1005
0.1835	4.11	8500	0.1310	0.1004
0.178	4.35	9000	0.1300	0.0959
0.1585	4.59	9500	0.1277	0.0966
0.1848	4.83	10000	0.1260	0.0974
0.169	5.07	10500	0.1281	0.0969
0.1666	5.32	11000	0.1291	0.1003
0.1552	5.56	11500	0.1271	0.0959
0.2736	5.8	12000	0.1320	0.0935
0.2845	6.04	12500	0.1299	0.0921
0.1536	6.28	13000	0.1282	0.0927
0.1491	6.52	13500	0.1240	0.0906
0.1579	6.77	14000	0.1208	0.0921
0.16	7.01	14500	0.1182	0.0903
0.1367	7.25	15000	0.1214	0.0922
0.1499	7.49	15500	0.1232	0.0916
0.148	7.73	16000	0.1184	0.0896
0.1426	7.97	16500	0.1201	0.0889
0.1471	8.22	17000	0.1256	0.0882
0.1358	8.46	17500	0.1265	0.0909
0.1245	8.7	18000	0.1263	0.0886
0.1407	8.94	18500	0.1226	0.0885
0.1289	9.18	19000	0.1315	0.0873
0.1326	9.42	19500	0.1233	0.0868
0.1305	9.67	20000	0.1237	0.0870
0.1432	9.91	20500	0.1234	0.0857
0.1205	10.15	21000	0.1303	0.0858
0.1248	10.39	21500	0.1252	0.0858
0.1251	10.63	22000	0.1253	0.0869
0.1143	10.87	22500	0.1266	0.0860
0.1155	11.12	23000	0.1219	0.0862
0.1227	11.36	23500	0.1329	0.0864
0.1229	11.6	24000	0.1244	0.0855
0.1112	11.84	24500	0.1356	0.0851
0.2163	12.08	25000	0.1252	0.0847
0.1146	12.32	25500	0.1211	0.0837
0.1058	12.57	26000	0.1247	0.0843
0.1099	12.81	26500	0.1189	0.0833
0.1028	13.05	27000	0.1303	0.0815
0.1092	13.29	27500	0.1305	0.0838
0.1076	13.53	28000	0.1276	0.0842
0.1074	13.77	28500	0.1268	0.0844
0.0971	14.02	29000	0.1322	0.0839
0.1109	14.26	29500	0.1287	0.0821
0.0991	14.5	30000	0.1289	0.0831
0.1095	14.74	30500	0.1273	0.0822
0.1015	14.98	31000	0.1326	0.0816
0.1051	15.22	31500	0.1337	0.0814
0.0894	15.47	32000	0.1331	0.0802
0.1	15.71	32500	0.1304	0.0798
0.0957	15.95	33000	0.1293	0.0824
0.0921	16.19	33500	0.1382	0.0808
0.0986	16.43	34000	0.1301	0.0788
0.098	16.67	34500	0.1305	0.0795
0.0974	16.92	35000	0.1325	0.0796
0.0886	17.16	35500	0.1332	0.0796
0.0892	17.4	36000	0.1327	0.0785
0.0917	17.64	36500	0.1304	0.0793
0.0919	17.88	37000	0.1353	0.0791
0.1007	18.12	37500	0.1340	0.0791
0.0831	18.37	38000	0.1327	0.0786
0.0862	18.61	38500	0.1343	0.0792
0.0837	18.85	39000	0.1334	0.0777
0.0771	19.09	39500	0.1456	0.0778
0.0841	19.33	40000	0.1365	0.0784
0.0874	19.57	40500	0.1379	0.0779
0.0773	19.82	41000	0.1359	0.0776
0.0771	20.06	41500	0.1392	0.0776
0.0861	20.3	42000	0.1395	0.0774
0.0773	20.54	42500	0.1356	0.0775
0.069	20.78	43000	0.1399	0.0765
0.0823	21.02	43500	0.1469	0.0774
0.0747	21.27	44000	0.1415	0.0768
0.0703	21.51	44500	0.1405	0.0778
0.0776	21.75	45000	0.1492	0.0778
0.0833	21.99	45500	0.1448	0.0767
0.0796	22.23	46000	0.1434	0.0761
0.0613	22.47	46500	0.1446	0.0768
0.0753	22.72	47000	0.1439	0.0757
0.076	22.96	47500	0.1402	0.0759
0.0619	23.2	48000	0.1473	0.0767
0.1322	23.44	48500	0.1431	0.0766
0.0691	23.68	49000	0.1452	0.0753
0.061	23.92	49500	0.1452	0.0752
0.0716	24.17	50000	0.1429	0.0756
0.074	24.41	50500	0.1440	0.0746
0.0696	24.65	51000	0.1459	0.0756
0.081	24.89	51500	0.1443	0.0751
0.0754	25.13	52000	0.1483	0.0755
0.0864	25.37	52500	0.1467	0.0757
0.0662	25.62	53000	0.1471	0.0748
0.109	25.86	53500	0.1472	0.0759
0.0682	26.1	54000	0.1539	0.0748
0.0655	26.34	54500	0.1469	0.0743
0.0651	26.58	55000	0.1553	0.0748
0.0666	26.82	55500	0.1520	0.0744
0.0724	27.07	56000	0.1526	0.0738
0.067	27.31	56500	0.1489	0.0738
0.0658	27.55	57000	0.1518	0.0738
0.0581	27.79	57500	0.1518	0.0739
0.0639	28.03	58000	0.1495	0.0736
0.0606	28.27	58500	0.1549	0.0739
0.0641	28.52	59000	0.1513	0.0735
0.0612	28.76	59500	0.1524	0.0739
0.0536	29.0	60000	0.1565	0.0741
0.0574	29.24	60500	0.1541	0.0741
0.057	29.48	61000	0.1555	0.0741
0.0624	29.72	61500	0.1590	0.0736
0.0531	29.97	62000	0.1590	0.0734
0.0661	30.21	62500	0.1599	0.0732
0.0641	30.45	63000	0.1576	0.0730
0.0562	30.69	63500	0.1593	0.0734
0.0527	30.93	64000	0.1604	0.0730
0.0579	31.17	64500	0.1571	0.0734
0.0508	31.42	65000	0.1603	0.0733
0.0524	31.66	65500	0.1588	0.0726
0.0564	31.9	66000	0.1571	0.0727
0.0551	32.14	66500	0.1584	0.0728
0.0564	32.38	67000	0.1565	0.0726
0.0628	32.62	67500	0.1558	0.0725
0.0561	32.87	68000	0.1582	0.0727
0.0553	33.11	68500	0.1591	0.0726
0.0504	33.35	69000	0.1590	0.0725
0.0539	33.59	69500	0.1582	0.0723
0.0576	33.83	70000	0.1579	0.0722

Framework versions

Transformers 4.17.0.dev0
Pytorch 1.10.0+cu113
Datasets 1.18.3
Tokenizers 0.10.3

Featured Recommended AI Models

Empowering the Future, Your AI Solution Knowledge Base

English 简体中文繁體中文にほんご