Wav2vec2 Large Xls R 300m Pa IN Dx1

🚀 wav2vec2-large-xls-r-300m-pa-IN-dx1 模型

該模型是基於MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - PA - IN數據集對[facebook/wav2vec2 - xls - r - 300m](https://huggingface.co/facebook/wav2vec2 - xls - r - 300m)進行微調後的版本。它在自動語音識別任務中表現出色，為旁遮普語（pa - IN）的語音識別提供了有效的解決方案。

📦 模型信息

📚 詳細文檔

評估結果

該模型在評估集上取得了以下結果：

• 損失值（Loss）: 1.0855
• 詞錯誤率（Wer）: 0.4755

評估命令

1. 在mozilla - foundation/common_voice_8_0測試集上評估

python eval.py --model_id DrishtiSharma/wav2vec2-large-xls-r-300m-pa-IN-dx1 --dataset mozilla-foundation/common_voice_8_0 --config pa-IN --split test --log_outputs

2. 在speech - recognition - community - v2/dev_data上評估 旁遮普語在speech - recognition - community - v2/dev_data中不可用。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）: 0.0003
• 訓練批次大小（train_batch_size）: 16
• 評估批次大小（eval_batch_size）: 8
• 隨機種子（seed）: 42
• 優化器（optimizer）: Adam（betas=(0.9, 0.999)，epsilon = 1e - 08）
• 學習率調度器類型（lr_scheduler_type）: 線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）: 1200
• 訓練輪數（num_epochs）: 100.0
• 混合精度訓練（mixed_precision_training）: 原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers: 4.17.0.dev0
• Pytorch: 1.10.2+cu102
• Datasets: 1.18.2.dev0
• Tokenizers: 0.11.0