Wav2vec2 Xls R 300m Mixed

🚀 wav2vec2-xls-r-300m-mixed

本項目是在預訓練模型基礎上進行微調的語音識別模型，在馬來語、新加坡英語和普通話三種語言的混合數據集上進行了優化，能有效提升多語言語音識別的準確率和性能。

🚀 快速開始

該模型是在 https://huggingface.co/facebook/wav2vec2-xls-r-300m 基礎上，針對 https://github.com/huseinzol05/malaya-speech/tree/master/data/mixed-stt 數據集進行微調得到的。

此模型在以下三種語言上進行了微調：

1. 馬來語
2. 新加坡英語
3. 普通話

該模型在由 https://mesolitica.com/ 提供的單張 RTX 3090 Ti 24GB VRAM 顯卡上進行訓練。

📚 詳細文檔

評估集

評估集來自 https://github.com/huseinzol05/malaya-speech/tree/master/pretrained-model/prepare-stt，各語言樣本數量如下：

len(malay), len(singlish), len(mandarin)
-> (765, 3579, 614)

根據 evaluate-gpu.ipynb 在評估集上的評估，模型取得了以下結果：

混合評估

CER: 0.0481054244857041
WER: 0.1322198446007387
CER with LM: 0.041196586938584696
WER with LM: 0.09880169127621556

馬來語評估

CER: 0.051636391937588406
WER: 0.19561999547293663
CER with LM: 0.03917689630621449
WER with LM: 0.12710746406824835

新加坡英語評估

CER: 0.0494915200071987
WER: 0.12763802881676573
CER with LM: 0.04271234986432335
WER with LM: 0.09677160640413336

普通話評估

CER: 0.035626554824269824
WER: 0.07993515937860181
CER with LM: 0.03487760945087219
WER with LM: 0.07536807168546154

語言模型來自 https://huggingface.co/huseinzol05/language-model-bahasa-manglish-combined。