wav2vec2-large-xls-r-300m-kinyarwandaオープンソースモデル - ルワンダ語の音声認識を高精度に実現

ホーム

Wav2vec2 Large Xls R 300m Kinyarwanda

peter2000によって開発

facebook/wav2vec2-xls-r-300mをcommon_voiceデータセットで微調整したルワンダ語音声認識モデル

音声認識

Transformers

オープンソースライセンス:Apache-2.0 #ルワンダ語音声認識 #低リソース言語モデル #XLS-Rアーキテクチャ

ダウンロード数 13

リリース時間 : 5/27/2022

モデル概要

これはルワンダ語に最適化された音声認識モデルで、wav2vec2-xls-r-300mアーキテクチャを基に微調整されており、音声からテキストへの変換タスクに適しています

モデル特徴

効率的な音声認識

ルワンダ語に最適化された音声認識能力

大規模事前学習に基づく

facebook/wav2vec2-xls-r-300m事前学習モデルを基に微調整

比較的低い単語誤り率

評価データセットで0.3246の単語誤り率を達成

モデル能力

ルワンダ語音声認識

音声からテキストへの変換

使用事例

音声書き起こし

ルワンダ語音声転写

ルワンダ語の音声内容をテキストに変換

単語誤り率0.3246

音声アシスタント

ルワンダ語音声インタラクション

ルワンダ語音声アシスタントに音声認識機能を提供

🚀 wav2vec2-large-xls-r-300m-kinyarwanda

このモデルは、facebook/wav2vec2-xls-r-300m を common_voice データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失: 0.3917
単語誤り率 (Wer): 0.3246

📚 詳細ドキュメント

モデルの説明

必要な情報はまだありません。

想定される用途と制限

必要な情報はまだありません。

学習と評価データ

必要な情報はまだありません。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

学習率: 7e-05
学習バッチサイズ: 12
評価バッチサイズ: 8
乱数シード: 42
勾配累積ステップ数: 2
総学習バッチサイズ: 24
オプティマイザ: Adam (ベータ=(0.9, 0.999), イプシロン=1e-08)
学習率スケジューラの種類: 線形
学習率スケジューラのウォームアップステップ数: 400
エポック数: 8
混合精度学習: Native AMP

学習結果

学習損失	エポック	ステップ	検証損失	単語誤り率 (Wer)
9.0634	0.12	400	3.0554	1.0
2.8009	0.24	800	1.5927	0.9554
0.9022	0.36	1200	0.7328	0.6445
0.6213	0.48	1600	0.6138	0.5510
0.5299	0.6	2000	0.6072	0.5223
0.4999	0.72	2400	0.5449	0.4969
0.4731	0.84	2800	0.5261	0.4828
0.458	0.96	3200	0.5058	0.4607
0.4158	1.09	3600	0.4892	0.4463
0.4037	1.21	4000	0.4759	0.4429
0.4021	1.33	4400	0.4615	0.4330
0.3934	1.45	4800	0.4593	0.4315
0.3808	1.57	5200	0.4736	0.4344
0.3838	1.69	5600	0.4569	0.4249
0.3726	1.81	6000	0.4473	0.4140
0.3623	1.93	6400	0.4403	0.4097
0.3517	2.05	6800	0.4389	0.4061
0.333	2.17	7200	0.4383	0.4104
0.3354	2.29	7600	0.4360	0.3955
0.3257	2.41	8000	0.4226	0.3942
0.3275	2.53	8400	0.4206	0.4040
0.3262	2.65	8800	0.4172	0.3875
0.3206	2.77	9200	0.4209	0.3877
0.323	2.89	9600	0.4177	0.3825
0.3099	3.01	10000	0.4101	0.3691
0.3008	3.14	10400	0.4055	0.3709
0.2918	3.26	10800	0.4085	0.3800
0.292	3.38	11200	0.4089	0.3713
0.292	3.5	11600	0.4092	0.3730
0.2785	3.62	12000	0.4151	0.3687
0.2941	3.74	12400	0.4004	0.3639
0.2838	3.86	12800	0.4108	0.3703
0.2854	3.98	13200	0.3911	0.3596
0.2683	4.1	13600	0.3944	0.3575
0.2647	4.22	14000	0.3836	0.3538
0.2704	4.34	14400	0.4006	0.3540
0.2664	4.46	14800	0.3974	0.3553
0.2662	4.58	15200	0.3890	0.3470
0.2615	4.7	15600	0.3856	0.3507
0.2553	4.82	16000	0.3814	0.3497
0.2587	4.94	16400	0.3837	0.3440
0.2522	5.06	16800	0.3834	0.3486
0.2451	5.19	17200	0.3897	0.3414
0.2423	5.31	17600	0.3864	0.3481
0.2434	5.43	18000	0.3808	0.3416
0.2525	5.55	18400	0.3795	0.3408
0.2427	5.67	18800	0.3841	0.3411
0.2411	5.79	19200	0.3804	0.3366
0.2404	5.91	19600	0.3800	0.3328
0.2372	6.03	20000	0.3749	0.3335
0.2244	6.15	20400	0.3820	0.3327
0.2381	6.27	20800	0.3789	0.3325
0.2294	6.39	21200	0.3867	0.3298
0.2378	6.51	21600	0.3843	0.3281
0.2312	6.63	22000	0.3813	0.3277
0.2411	6.75	22400	0.3780	0.3268
0.2315	6.87	22800	0.3790	0.3280
0.241	6.99	23200	0.3776	0.3281
0.2313	7.11	23600	0.3929	0.3283
0.2423	7.24	24000	0.3905	0.3280
0.2337	7.36	24400	0.3979	0.3249
0.2368	7.48	24800	0.3980	0.3257
0.2409	7.6	25200	0.3937	0.3229
0.2416	7.72	25600	0.3867	0.3237
0.2364	7.84	26000	0.3912	0.3253
0.234	7.96	26400	0.3917	0.3246