Wav2vec2 Xls R 300m Cv6 Turkish

🚀 wav2vec2-xls-r-300m-cv6-turkish

該自動語音識別（ASR）模型解決了在土耳其語語音識別場景下的準確性問題，基於預訓練模型進行微調，能有效提升對土耳其語語音的識別能力，為相關語音應用提供了有力支持。

🚀 快速開始

本模型是 facebook/wav2vec2-xls-r-300m 在土耳其語上的微調版本。

✨ 主要特性

• 基於預訓練模型微調，適配土耳其語語音識別。
• 支持多數據集訓練，提升模型泛化能力。
• 訓練過程使用了自定義的預處理和加載步驟。

📦 安裝指南

在運行評估之前，請安裝 unicode_tr 包，用於土耳其語文本處理。

💻 使用示例

基礎用法

以下是在 common_voice 測試集上進行評估的命令：

python eval.py --model_id mpoyraz/wav2vec2-xls-r-300m-cv6-turkish --dataset common_voice --config tr --split test

高級用法

在 speech-recognition-community-v2/dev_data 數據集上進行評估：

python eval.py --model_id mpoyraz/wav2vec2-xls-r-300m-cv6-turkish --dataset speech-recognition-community-v2/dev_data --config tr --split validation --chunk_length_s 5.0 --stride_length_s 1.0

📚 詳細文檔

訓練和評估數據

以下數據集用於微調：

• Common Voice 6.1 TR 除測試集外的所有 validated 分割數據用於訓練。
• MediaSpeech

訓練過程

為了支持上述兩個數據集，執行了自定義的預處理和加載步驟，並使用 wav2vec2-turkish 倉庫實現此目的。

訓練超參數

以下超參數用於微調：

• 學習率：2e-4
• 訓練輪數：10
• 熱身步數：500
• 凍結特徵提取器
• 時間掩碼概率：0.1
• 特徵掩碼概率：0.1
• 特徵投影丟棄率：0.05
• 注意力丟棄率：0.05
• 最終丟棄率：0.1
• 激活丟棄率：0.05
• 每個設備的訓練批次大小：8
• 每個設備的評估批次大小：8
• 梯度累積步數：8

框架版本

• Transformers：4.17.0.dev0
• Pytorch：1.10.1
• Datasets：1.18.3
• Tokenizers：0.10.3

語言模型

使用 KenLM 在土耳其語維基百科文章上訓練了 N-gram 語言模型，並使用 ngram-lm-wiki 倉庫生成 arpa 語言模型並將其轉換為二進制格式。

評估結果

📄 許可證

本項目採用 Apache-2.0 許可證。