Xls R Uyghur Cv8

🚀 XLS-R-300M維吾爾語CV8

本模型是基於 facebook/wav2vec2-xls-r-300m 在MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - UG數據集上進行微調的版本。它在評估集上取得了以下結果：

• 損失值：0.2026
• 字錯率（Wer）：0.3248

✨ 主要特性

• 語言支持：適用於維吾爾語，其詞彙表由維吾爾語波斯 - 阿拉伯字母的字母組成，且去除了標點符號。
• 應用場景：可用於一些低保真度的場景，如草稿視頻字幕、錄製廣播的索引等。

📚 詳細文檔

模型描述

關於模型架構的描述，請參考 facebook/wav2vec2-xls-r-300m。

預期用途和限制

此模型預計在以下低保真度用例中具有一定的實用性：

• 草稿視頻字幕
• 錄製廣播的索引

該模型不夠可靠，不能用作無障礙目的的即時字幕替代品，並且不應以侵犯Common Voice數據集的任何貢獻者或其他說話者隱私的方式使用。

訓練和評估數據

使用Common Voice官方劃分的 train 和 dev 組合作為訓練數據，官方的 test 劃分作為驗證數據以及最終評估數據。

訓練過程

在維吾爾語CV8示例句子上微調最終的CTC/LM層時，凍結了XLS - R模型的特徵提取層。使用了一個逐步變化的學習率，初始熱身階段為2000步，最大值為0.0001，在剩餘的9400步（100個epoch）中逐漸冷卻至0。

訓練超參數

訓練期間使用了以下超參數：

訓練結果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

📄 許可證

本模型採用Apache - 2.0許可證。