wav2vec2-large-xls-r-300m-irishオープンソース音声モデル - 無料でデプロイしてアイルランド語の自動識別を実現

Wav2vec2 Large Xls R 300m Irish Colab Test

jfealkoによって開発

これはfacebook/wav2vec2-xls-r-300mモデルをcommon_voiceアイルランド語データセットでファインチューニングした音声認識モデルで、主にアイルランド語の自動音声認識タスクに使用されます。

ダウンロード数 24

リリース時間 : 4/1/2022

モデル概要

このモデルはwav2vec2-xls-r-300mのファインチューン版で、アイルランド語音声認識に特化して最適化されており、common_voiceデータセットで62.2%の単語誤り率を達成しました。

アイルランド語最適化

アイルランド語音声認識に特化してファインチューニングされています

wav2vec2-xls-rアーキテクチャ採用

Facebookの強力なwav2vec2-xls-r-300mアーキテクチャをベースモデルとして採用

中規模モデル

3億パラメータのモデルサイズで、性能と効率のバランスが取れています

アイルランド語音声認識

音声からテキストへの変換

自動音声転写

音声転写

アイルランド語音声転写

アイルランド語の音声コンテンツをテキストに変換

単語誤り率62.2%

音声アシスタント

アイルランド語音声アシスタント

アイルランド語をサポートする音声アシスタントアプリケーションの開発に使用

このモデルは、facebook/wav2vec2-xls-r-300m を common_voice データセットでファインチューニングしたものです。評価セットでは以下の結果を達成しています。

このセクションでは、モデルの概要と評価結果について説明しています。

トレーニング中に使用されたハイパーパラメータは以下の通りです。

パラメータ	値
学習率 (learning_rate)	0.0003
トレーニングバッチサイズ (train_batch_size)	16
評価バッチサイズ (eval_batch_size)	8
乱数シード (seed)	42
勾配累積ステップ数 (gradient_accumulation_steps)	2
総トレーニングバッチサイズ (total_train_batch_size)	32
オプティマイザ (optimizer)	Adam (betas=(0.9, 0.999), epsilon=1e-08)
学習率スケジューラの種類 (lr_scheduler_type)	線形 (linear)
学習率スケジューラのウォームアップステップ数 (lr_scheduler_warmup_steps)	100
エポック数 (num_epochs)	90
混合精度トレーニング (mixed_precision_training)	Native AMP

トレーニング損失	エポック	ステップ	検証損失	単語誤り率 (Wer)
10.0428	2.94	50	4.1311	1.0
3.2917	5.88	100	3.1468	1.0
3.0221	8.82	150	2.9848	1.0
2.9795	11.76	200	2.9567	1.0
2.9379	14.71	250	2.9463	1.0
2.9068	17.65	300	2.8330	1.0
2.5088	20.59	350	1.9807	0.9535
1.6188	23.53	400	1.4254	0.8398
1.0435	26.47	450	1.3668	0.7807
0.7212	29.41	500	1.3914	0.7476
0.5456	32.35	550	1.5495	0.7470
0.4297	35.29	600	1.4751	0.6960
0.3533	38.24	650	1.5157	0.6909
0.2899	41.18	700	1.5394	0.6879
0.2529	44.12	750	1.6186	0.6903
0.2413	47.06	800	1.6386	0.6954
0.2113	50.0	850	1.6906	0.6778
0.1769	52.94	900	1.6918	0.6575
0.1622	55.88	950	1.7313	0.6572
0.1564	58.82	1000	1.7701	0.6510
0.1637	61.76	1050	1.6800	0.6444
0.148	64.71	1100	1.7306	0.6477
0.1385	67.65	1150	1.7605	0.6408
0.1264	70.59	1200	1.7534	0.6244
0.1157	73.53	1250	1.7906	0.6381
0.1027	76.47	1300	1.7803	0.6265
0.1061	79.41	1350	1.7617	0.6259
0.0934	82.35	1400	1.7649	0.6253
0.0904	85.29	1450	1.7713	0.6187
0.0911	88.24	1500	1.7839	0.6220