wav2vec2-final-1-lm-2オープンソース音声認識モデル - 低エラー率で精度の高い音声内容認識

Wav2vec2 Final 1 Lm 2

chrisvinsenによって開発

facebook/wav2vec2-baseをファインチューニングした音声認識モデル、単語誤り率(WER)0.283、3-gram使用時単語誤り率0.126

ダウンロード数 15

リリース時間 : 6/2/2022

モデル概要

これは音声認識用のファインチューニングモデルで、wav2vec2アーキテクチャに基づき、特定のデータセットでトレーニングされています

低単語誤り率

評価データセットでの単語誤り率は0.4499、3-gram使用時は0.126まで低下

wav2vec2アーキテクチャベース

facebookのwav2vec2-baseをベースモデルとしてファインチューニング

最適化トレーニング

60エポックのトレーニングを実施、線形学習率スケジューリングとウォームアップ戦略を採用

音声認識

音声からテキストへの変換

音声文字起こし

会議議事録の文字起こし

会議録音を文字記録に変換

単語誤り率0.283

音声コマンド認識

音声コマンドの認識と理解

このモデルは音声認識に特化したモデルで、特定のデータセットで微調整されています。評価セットで良好な結果を達成しており、WER (Word Error Rate) が低いことが特徴です。

このモデルは facebook/wav2vec2-base をベースに、None データセットで微調整されたバージョンです。評価セットでの結果は以下の通りです。

また、WER は0.283で、3-Gramを使用すると0.126になります。

トレーニング中に使用されたハイパーパラメータは以下の通りです。

トレーニング損失	エポック	ステップ	検証損失	WER
3.4816	2.74	400	1.0717	0.8927
0.751	5.48	800	0.7155	0.7533
0.517	8.22	1200	0.7039	0.6675
0.3988	10.96	1600	0.5935	0.6149
0.3179	13.7	2000	0.6477	0.5999
0.2755	16.44	2400	0.5549	0.5798
0.2343	19.18	2800	0.6626	0.5798
0.2103	21.92	3200	0.6488	0.5674
0.1877	24.66	3600	0.5874	0.5339
0.1719	27.4	4000	0.6354	0.5389
0.1603	30.14	4400	0.6612	0.5210
0.1401	32.88	4800	0.6676	0.5131
0.1286	35.62	5200	0.6366	0.5075
0.1159	38.36	5600	0.6064	0.4977
0.1084	41.1	6000	0.6530	0.4835
0.0974	43.84	6400	0.6118	0.4853
0.0879	46.58	6800	0.6316	0.4770
0.0815	49.32	7200	0.6125	0.4664
0.0708	52.05	7600	0.6449	0.4683
0.0651	54.79	8000	0.6068	0.4571
0.0555	57.53	8400	0.6305	0.4499