XLSR-WithLM-Malayalamオープンソースモデル - マラヤーラム語の自動音声認識を簡単に実現

XLSR WithLM Malayalam

kavyamanoharによって開発

このモデルはfacebook/wav2vec2-xls-r-300mをIMaSC、Indic TTS Malayalam、OpenSLR Malayalamのトレーニングデータセットでファインチューニングしたバージョンで、マラヤーラム語の自動音声認識をサポートします。

ダウンロード数 19

リリース時間 : 7/22/2024

モデル概要

これはマラヤーラム語に最適化された自動音声認識モデルで、KENLMライブラリでトレーニングされたトライグラム言語モデルで強化されており、複数のマラヤーラム語データセットで優れた性能を発揮します。

複数データセットファインチューニング

IMaSC、Indic TTS Malayalam、OpenSLR Malayalamなどの複数のマラヤーラム語データセットでファインチューニングを行い、認識精度を向上させました。

言語モデル強化

KENLMライブラリを使用してml-sentencesデータセットでトレーニングされたトライグラム言語モデルで後処理を行い、認識効果を大幅に向上させました。

効率的なトレーニング

勾配累積や混合精度トレーニングなどの技術を採用し、限られたリソースで効率的なトレーニングを実現しました。

マラヤーラム語音声認識

音声からテキストへの変換

音声文字起こし

マラヤーラム語音声文字起こし

マラヤーラム語の音声コンテンツをテキストに変換

OpenSLR MalayalamテストセットでWERが27.3

音声アシスタント

マラヤーラム語音声アシスタント

マラヤーラム語をサポートする音声アシスタントアプリケーションの構築に使用

このモデルは、facebook/wav2vec2-xls-r-300m を IMASC、Indic TTS Malayalam、OpenSLR Malayalam Train split のデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

トライグラム言語モデルは、kavyamanohar/ml-sentences データセットを使用してKENLMライブラリで学習されています。

学習中に使用されたハイパーパラメータは以下の通りです。

学習損失	エポック	ステップ	検証損失	単語誤り率 (WER)
1.4912	0.1165	1000	0.5497	0.7011
0.5377	0.2330	2000	0.3292	0.5364
0.4343	0.3494	3000	0.2475	0.4424
0.3678	0.4659	4000	0.2145	0.4014
0.3345	0.5824	5000	0.1898	0.3774
0.3029	0.6989	6000	0.1718	0.3441
0.2685	0.8153	7000	0.1517	0.3135
0.2385	0.9318	8000	0.1395	0.2952

属性	詳情
モデルタイプ	XLSR-WithLM-Malayalam
学習データ	thennal/IMaSC、vrclc/openslr63、thennal/indic_tts_ml、kavyamanohar/ml-sentences

タスク: 自動音声認識 (Automatic Speech Recognition)
- データセット1: OpenSLR Malayalam -Test (vrclc/openslr63)
  - WER: 27.3
- データセット2: Goole Fleurs (google/fleurs)
  - WER: 37.2
- データセット3: MSC (smcproject/msc)
  - WER: 52.9