XLSR-WithLM-Malayalam開源模型 - 輕鬆實現馬拉雅拉姆語自動語音識別

XLSR WithLM Malayalam

由kavyamanohar開發

該模型是基於facebook/wav2vec2-xls-r-300m在IMaSC、Indic TTS Malayalam和OpenSLR Malayalam訓練集數據集上微調得到的版本，支持馬拉雅拉姆語自動語音識別。

下載量 19

發布時間 : 7/22/2024

模型概述

這是一個針對馬拉雅拉姆語優化的自動語音識別模型，使用KENLM庫訓練的三元語言模型進行增強，在多個馬拉雅拉姆語數據集上表現出色。

多數據集微調

在IMaSC、Indic TTS Malayalam和OpenSLR Malayalam等多個馬拉雅拉姆語數據集上進行微調，提高了識別準確性。

語言模型增強

使用KENLM庫在ml-sentences數據集上訓練的三元語言模型進行後處理，顯著提升了識別效果。

高效訓練

採用梯度累積和混合精度訓練等技術，在有限資源下實現了高效訓練。

馬拉雅拉姆語語音識別

語音轉文本

語音轉錄

馬拉雅拉姆語語音轉錄

將馬拉雅拉姆語語音內容轉換為文本

在OpenSLR Malayalam測試集上WER為27.3

語音助手

馬拉雅拉姆語語音助手

用於構建支持馬拉雅拉姆語的語音助手應用

本模型是基於 facebook/wav2vec2-xls-r-300m 在 IMASC、Indic TTS Malayalam、OpenSLR Malayalam Train split 數據集上微調得到的版本。它在評估集上取得了以下結果：

基於 kavyamanohar/ml-sentences 數據集，使用 KENLM 庫訓練了三元語言模型。

訓練過程中使用了以下超參數：

訓練損失	輪數	步數	驗證損失	字錯率（WER）
1.4912	0.1165	1000	0.5497	0.7011
0.5377	0.2330	2000	0.3292	0.5364
0.4343	0.3494	3000	0.2475	0.4424
0.3678	0.4659	4000	0.2145	0.4014
0.3345	0.5824	5000	0.1898	0.3774
0.3029	0.6989	6000	0.1718	0.3441
0.2685	0.8153	7000	0.1517	0.3135
0.2385	0.9318	8000	0.1395	0.2952

本項目採用 Apache-2.0 許可證。

屬性	詳情
基礎模型	facebook/wav2vec2-xls-r-300m
訓練數據集	thennal/IMaSC、vrclc/openslr63、thennal/indic_tts_ml、kavyamanohar/ml-sentences
評估結果	在 OpenSLR Malayalam - Test 數據集上 WER 為 27.3；在 Goole Fleurs 數據集上 WER 為 37.2；在 MSC 數據集訓練集上 WER 為 52.9