Wav2vec2 Large Xls R 300m Bg V1

🚀 wav2vec2-large-xls-r-300m-bg-v1 語音識別模型

本模型基於Transformer架構，是在MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - BG數據集上對facebook/wav2vec2-xls-r-300m進行微調後的版本，可用於保加利亞語的自動語音識別任務，在相關評估集上有良好表現。

✨ 主要特性

• 多數據集適配：可在MOZILLA - FOUNDATION/COMMON_VOICE_8_0和speech - recognition - community - v2等數據集上進行評估。
• 明確的評估指標：在評估集上提供了Loss、Wer、CER等指標數據，方便衡量模型性能。
• 詳細的訓練參數：公開了訓練時使用的超參數，如學習率、批次大小等，便於復現訓練過程。

📚 詳細文檔

模型信息

評估結果

本模型在不同數據集上的評估結果如下：

• Common Voice 8數據集（保加利亞語）
  • Test WER：0.4709579127785184
  • Test CER：0.10205125354383235
• Robust Speech Event - Dev Data數據集（保加利亞語）
  • Test WER：0.7053128872366791
  • Test CER：0.210804311998487
• Robust Speech Event - Test Data數據集（保加利亞語）
  • Test WER：72.6

在評估集上的其他結果：

• Loss: 0.5197
• Wer: 0.4689

評估命令

在mozilla - foundation/common_voice_8_0測試集上評估

python eval.py --model_id DrishtiSharma/wav2vec2-large-xls-r-300m-bg-v1 --dataset mozilla-foundation/common_voice_8_0 --config bg --split test --log_outputs

在speech - recognition - community - v2/dev_data數據集上評估

python eval.py --model_id DrishtiSharma/wav2vec2-large-xls-r-300m-bg-v1 --dataset speech-recognition-community-v2/dev_data --config bg --split validation --chunk_length_s 10 --stride_length_s 1

訓練超參數

• 學習率（learning_rate）：7e - 05
• 訓練批次大小（train_batch_size）：32
• 評估批次大小（eval_batch_size）：16
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam，betas = (0.9, 0.999)，epsilon = 1e - 08
• 學習率調度器類型（lr_scheduler_type）：線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）：2000
• 訓練輪數（num_epochs）：50.0
• 混合精度訓練（mixed_precision_training）：Native AMP

訓練結果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.2.dev0
• Tokenizers 0.11.0

📄 許可證

本模型使用Apache - 2.0許可證。