XLSR - 1B - bokmaal - lowオープンソース音声認識モデル - ノルウェー語の書き言葉の低リソース音声認識を無料でサポート

ホーム

XLSR 1B Bokmaal Low

NbAiLabによって開発

XLSR-1B-bokmaal-low は自動音声認識(ASR)モデルで、ノルウェー書面語(Bokmål)の低リソース音声認識タスクに特化しています。

音声認識

Transformers

#ノルウェー語音声認識 #低単語誤り率 #大規模事前学習

ダウンロード数 16

リリース時間 : 3/2/2022

モデル概要

このモデルは自動音声認識タスクで訓練されており、特にノルウェー書面語(Bokmål)の低リソースシナリオに最適化されています。

モデル特徴

低リソース最適化

ノルウェー書面語(Bokmål)の低リソースシナリオに特別に最適化されています

高性能

評価セットで7.22%の単語誤り率(WER)を達成しました

大規模訓練

1Bパラメータの大規模モデルアーキテクチャに基づいています

モデル能力

ノルウェー書面語(Bokmål)音声認識

低リソース音声処理

使用事例

音声からテキストへ

ノルウェー語会議議事録

ノルウェー語会議録音を自動的にテキスト記録に変換

単語誤り率7.22%

音声アシスタント

ノルウェー語音声アシスタントに音声認識能力を提供

🚀 XLSR-1B-bokmaal-low

このモデルは、Noneデータセットを使用してゼロからトレーニングされました。評価セットでは、以下の結果を達成しています。

損失: 0.1579
単語誤り率 (Wer): 0.0722

🚀 クイックスタート

このモデルは、特定のデータセットでトレーニングされ、評価セットで一定の性能を示します。以下に、トレーニングに関する詳細な情報を提供します。

🔧 技術詳細

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

学習率 (learning_rate): 1.7e-05
トレーニングバッチサイズ (train_batch_size): 12
評価バッチサイズ (eval_batch_size): 12
乱数シード (seed): 42
勾配累積ステップ数 (gradient_accumulation_steps): 2
総トレーニングバッチサイズ (total_train_batch_size): 24
オプティマイザ (optimizer): Adam (betas=(0.9,0.999), epsilon=1e-08)
学習率スケジューラの種類 (lr_scheduler_type): 線形 (linear)
エポック数 (num_epochs): 34.0
混合精度トレーニング (mixed_precision_training): ネイティブAMP (Native AMP)

トレーニング結果

トレーニング損失	エポック	ステップ	検証損失	単語誤り率 (Wer)
0.434	0.24	500	0.1704	0.1378
0.2833	0.48	1000	0.1638	0.1324
0.2478	0.72	1500	0.1606	0.1240
0.2276	0.97	2000	0.1562	0.1212
0.2208	1.21	2500	0.1576	0.1172
0.2148	1.45	3000	0.1502	0.1119
0.1994	1.69	3500	0.1409	0.1110
0.1932	1.93	4000	0.1432	0.1112
0.2122	2.17	4500	0.1443	0.1098
0.2177	2.42	5000	0.1329	0.1102
0.2058	2.66	5500	0.1403	0.1070
0.2216	2.9	6000	0.1342	0.1067
0.1984	3.14	6500	0.1370	0.1030
0.2056	3.38	7000	0.1371	0.1041
0.1735	3.62	7500	0.1296	0.1003
0.203	3.87	8000	0.1301	0.1005
0.1835	4.11	8500	0.1310	0.1004
0.178	4.35	9000	0.1300	0.0959
0.1585	4.59	9500	0.1277	0.0966
0.1848	4.83	10000	0.1260	0.0974
0.169	5.07	10500	0.1281	0.0969
0.1666	5.32	11000	0.1291	0.1003
0.1552	5.56	11500	0.1271	0.0959
0.2736	5.8	12000	0.1320	0.0935
0.2845	6.04	12500	0.1299	0.0921
0.1536	6.28	13000	0.1282	0.0927
0.1491	6.52	13500	0.1240	0.0906
0.1579	6.77	14000	0.1208	0.0921
0.16	7.01	14500	0.1182	0.0903
0.1367	7.25	15000	0.1214	0.0922
0.1499	7.49	15500	0.1232	0.0916
0.148	7.73	16000	0.1184	0.0896
0.1426	7.97	16500	0.1201	0.0889
0.1471	8.22	17000	0.1256	0.0882
0.1358	8.46	17500	0.1265	0.0909
0.1245	8.7	18000	0.1263	0.0886
0.1407	8.94	18500	0.1226	0.0885
0.1289	9.18	19000	0.1315	0.0873
0.1326	9.42	19500	0.1233	0.0868
0.1305	9.67	20000	0.1237	0.0870
0.1432	9.91	20500	0.1234	0.0857
0.1205	10.15	21000	0.1303	0.0858
0.1248	10.39	21500	0.1252	0.0858
0.1251	10.63	22000	0.1253	0.0869
0.1143	10.87	22500	0.1266	0.0860
0.1155	11.12	23000	0.1219	0.0862
0.1227	11.36	23500	0.1329	0.0864
0.1229	11.6	24000	0.1244	0.0855
0.1112	11.84	24500	0.1356	0.0851
0.2163	12.08	25000	0.1252	0.0847
0.1146	12.32	25500	0.1211	0.0837
0.1058	12.57	26000	0.1247	0.0843
0.1099	12.81	26500	0.1189	0.0833
0.1028	13.05	27000	0.1303	0.0815
0.1092	13.29	27500	0.1305	0.0838
0.1076	13.53	28000	0.1276	0.0842
0.1074	13.77	28500	0.1268	0.0844
0.0971	14.02	29000	0.1322	0.0839
0.1109	14.26	29500	0.1287	0.0821
0.0991	14.5	30000	0.1289	0.0831
0.1095	14.74	30500	0.1273	0.0822
0.1015	14.98	31000	0.1326	0.0816
0.1051	15.22	31500	0.1337	0.0814
0.0894	15.47	32000	0.1331	0.0802
0.1	15.71	32500	0.1304	0.0798
0.0957	15.95	33000	0.1293	0.0824
0.0921	16.19	33500	0.1382	0.0808
0.0986	16.43	34000	0.1301	0.0788
0.098	16.67	34500	0.1305	0.0795
0.0974	16.92	35000	0.1325	0.0796
0.0886	17.16	35500	0.1332	0.0796
0.0892	17.4	36000	0.1327	0.0785
0.0917	17.64	36500	0.1304	0.0793
0.0919	17.88	37000	0.1353	0.0791
0.1007	18.12	37500	0.1340	0.0791
0.0831	18.37	38000	0.1327	0.0786
0.0862	18.61	38500	0.1343	0.0792
0.0837	18.85	39000	0.1334	0.0777
0.0771	19.09	39500	0.1456	0.0778
0.0841	19.33	40000	0.1365	0.0784
0.0874	19.57	40500	0.1379	0.0779
0.0773	19.82	41000	0.1359	0.0776
0.0771	20.06	41500	0.1392	0.0776
0.0861	20.3	42000	0.1395	0.0774
0.0773	20.54	42500	0.1356	0.0775
0.069	20.78	43000	0.1399	0.0765
0.0823	21.02	43500	0.1469	0.0774
0.0747	21.27	44000	0.1415	0.0768
0.0703	21.51	44500	0.1405	0.0778
0.0776	21.75	45000	0.1492	0.0778
0.0833	21.99	45500	0.1448	0.0767
0.0796	22.23	46000	0.1434	0.0761
0.0613	22.47	46500	0.1446	0.0768
0.0753	22.72	47000	0.1439	0.0757
0.076	22.96	47500	0.1402	0.0759
0.0619	23.2	48000	0.1473	0.0767
0.1322	23.44	48500	0.1431	0.0766
0.0691	23.68	49000	0.1452	0.0753
0.061	23.92	49500	0.1452	0.0752
0.0716	24.17	50000	0.1429	0.0756
0.074	24.41	50500	0.1440	0.0746
0.0696	24.65	51000	0.1459	0.0756
0.081	24.89	51500	0.1443	0.0751
0.0754	25.13	52000	0.1483	0.0755
0.0864	25.37	52500	0.1467	0.0757
0.0662	25.62	53000	0.1471	0.0748
0.109	25.86	53500	0.1472	0.0759
0.0682	26.1	54000	0.1539	0.0748
0.0655	26.34	54500	0.1469	0.0743
0.0651	26.58	55000	0.1553	0.0748
0.0666	26.82	55500	0.1520	0.0744
0.0724	27.07	56000	0.1526	0.0738
0.067	27.31	56500	0.1489	0.0738
0.0658	27.55	57000	0.1518	0.0738
0.0581	27.79	57500	0.1518	0.0739
0.0639	28.03	58000	0.1495	0.0736
0.0606	28.27	58500	0.1549	0.0739
0.0641	28.52	59000	0.1513	0.0735
0.0612	28.76	59500	0.1524	0.0739
0.0536	29.0	60000	0.1565	0.0741
0.0574	29.24	60500	0.1541	0.0741
0.057	29.48	61000	0.1555	0.0741
0.0624	29.72	61500	0.1590	0.0736
0.0531	29.97	62000	0.1590	0.0734
0.0661	30.21	62500	0.1599	0.0732
0.0641	30.45	63000	0.1576	0.0730
0.0562	30.69	63500	0.1593	0.0734
0.0527	30.93	64000	0.1604	0.0730
0.0579	31.17	64500	0.1571	0.0734
0.0508	31.42	65000	0.1603	0.0733
0.0524	31.66	65500	0.1588	0.0726
0.0564	31.9	66000	0.1571	0.0727
0.0551	32.14	66500	0.1584	0.0728
0.0564	32.38	67000	0.1565	0.0726
0.0628	32.62	67500	0.1558	0.0725
0.0561	32.87	68000	0.1582	0.0727
0.0553	33.11	68500	0.1591	0.0726
0.0504	33.35	69000	0.1590	0.0725
0.0539	33.59	69500	0.1582	0.0723
0.0576	33.83	70000	0.1579	0.0722