W2V2-BERT-withLM-マラヤーラム語オープンソースモデル - マラヤーラム語の自動音声認識をサポート

W2V2 BERT Withlm Malayalam

Developed by vrclc

facebook/w2v-bert-2.0をベースにファインチューニングしたマラヤーラム語自動音声認識モデルで、複数のマラヤーラム語データセットで訓練され、KENLMライブラリで訓練された3-gram言語モデルを使用しています。

Downloads 65

Release Time : 7/11/2024

Model Overview

これはマラヤーラム語の自動音声認識モデルで、facebook/w2v-bert-2.0アーキテクチャをベースにファインチューニングされており、マラヤーラム語音声をテキストに変換するのに適しています。

複数データセット訓練

IMaSC、MSC、OpenSLRマラヤーラム語訓練セット、Festvoxマラヤーラム語、CV16など複数のデータセットでファインチューニング

言語モデル強化

KENLMライブラリを使用してml-sentencesデータセットで訓練された3-gram言語モデル

低単語誤り率

OpenSLRテストセットで12.99%の単語誤り率を達成

マラヤーラム語音声認識

音声からテキストへ

音声文字起こし

マラヤーラム語音声文字起こし

マラヤーラム語音声をテキストに変換

OpenSLRテストセットで単語誤り率18.23%

音声アシスタント

マラヤーラム語音声アシスタント

マラヤーラム語音声インタラクションをサポート

このモデルは、IMASC、MSC、OpenSLR Malayalam Train split、Festvox Malayalam、CV16 のデータセットで facebook/w2v-bert-2.0 をファインチューニングしたバージョンです。

検証セット OpenSLR-Test では以下の結果を達成しています。

トライグラム言語モデルは、kavyamanohar/ml-sentences データセットを使用して KENLM ライブラリでトレーニングされています。

使用されたデータセットは以下の通りです。

トレーニング中に使用されたハイパーパラメータは以下の通りです。

トレーニング損失	エポック	ステップ	検証損失	単語誤り率 (WER)
1.1416	0.46	600	0.3393	0.4616
0.1734	0.92	1200	0.2414	0.3493
0.1254	1.38	1800	0.2205	0.2963
0.1097	1.84	2400	0.2157	0.3133
0.0923	2.3	3000	0.1854	0.2473
0.0792	2.76	3600	0.1939	0.2471
0.0696	3.22	4200	0.1720	0.2282
0.0589	3.68	4800	0.1768	0.2013
0.0552	4.14	5400	0.1635	0.1864
0.0437	4.6	6000	0.1501	0.1826
0.0408	5.06	6600	0.1500	0.1645
0.0314	5.52	7200	0.1559	0.1655
0.0317	5.98	7800	0.1448	0.1553
0.022	6.44	8400	0.1592	0.1590
0.0218	6.9	9000	0.1431	0.1458
0.0154	7.36	9600	0.1514	0.1366
0.0141	7.82	10200	0.1540	0.1383
0.0113	8.28	10800	0.1558	0.1391
0.0085	8.74	11400	0.1612	0.1356
0.0072	9.2	12000	0.1697	0.1289
0.0046	9.66	12600	0.1722	0.1299