Wav2vec2 Large Xls R 300m Pa IN Dx1

🚀 wav2vec2-large-xls-r-300m-pa-IN-dx1 模型

该模型是基于MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - PA - IN数据集对[facebook/wav2vec2 - xls - r - 300m](https://huggingface.co/facebook/wav2vec2 - xls - r - 300m)进行微调后的版本。它在自动语音识别任务中表现出色，为旁遮普语（pa - IN）的语音识别提供了有效的解决方案。

📦 模型信息

📚 详细文档

评估结果

该模型在评估集上取得了以下结果：

• 损失值（Loss）: 1.0855
• 词错误率（Wer）: 0.4755

评估命令

1. 在mozilla - foundation/common_voice_8_0测试集上评估

python eval.py --model_id DrishtiSharma/wav2vec2-large-xls-r-300m-pa-IN-dx1 --dataset mozilla-foundation/common_voice_8_0 --config pa-IN --split test --log_outputs

2. 在speech - recognition - community - v2/dev_data上评估 旁遮普语在speech - recognition - community - v2/dev_data中不可用。

训练超参数

训练过程中使用了以下超参数：

• 学习率（learning_rate）: 0.0003
• 训练批次大小（train_batch_size）: 16
• 评估批次大小（eval_batch_size）: 8
• 随机种子（seed）: 42
• 优化器（optimizer）: Adam（betas=(0.9, 0.999)，epsilon = 1e - 08）
• 学习率调度器类型（lr_scheduler_type）: 线性
• 学习率调度器热身步数（lr_scheduler_warmup_steps）: 1200
• 训练轮数（num_epochs）: 100.0
• 混合精度训练（mixed_precision_training）: 原生自动混合精度（Native AMP）

训练结果

框架版本

• Transformers: 4.17.0.dev0
• Pytorch: 1.10.2+cu102
• Datasets: 1.18.2.dev0
• Tokenizers: 0.11.0