Wav2vec2 Xls R 300m Mixed

🚀 wav2vec2-xls-r-300m-mixed

このモデルは、https://huggingface.co/facebook/wav2vec2-xls-r-300m を https://github.com/huseinzol05/malaya-speech/tree/master/data/mixed-stt のデータでファインチューニングしたものです。3つの言語、すなわちマレー語、シンガリッシュ語、中国語（北京語）でファインチューニングされています。

このモデルは、https://mesolitica.com/ が提供する単一のRTX 3090 Ti 24GB VRAMでトレーニングされました。

🚀 クイックスタート

このモデルは、特定の音声データセットでファインチューニングされており、音声認識タスクに使用できます。以下に評価セットとその結果について説明します。

📚 ドキュメント

評価セット

評価セットは https://github.com/huseinzol05/malaya-speech/tree/master/pretrained-model/prepare-stt から取得され、そのサイズは以下の通りです。

len(malay), len(singlish), len(mandarin)
-> (765, 3579, 614)

評価結果

evaluate-gpu.ipynb に基づく評価セットでの結果は以下の通りです。

混合評価

CER: 0.0481054244857041
WER: 0.1322198446007387
CER with LM: 0.041196586938584696
WER with LM: 0.09880169127621556

マレー語評価

CER: 0.051636391937588406
WER: 0.19561999547293663
CER with LM: 0.03917689630621449
WER with LM: 0.12710746406824835

シンガリッシュ語評価

CER: 0.0494915200071987
WER: 0.12763802881676573
CER with LM: 0.04271234986432335
WER with LM: 0.09677160640413336

中国語（北京語）評価

CER: 0.035626554824269824
WER: 0.07993515937860181
CER with LM: 0.03487760945087219
WER with LM: 0.07536807168546154

言語モデル

使用された言語モデルは https://huggingface.co/huseinzol05/language-model-bahasa-manglish-combined から取得されました。