Wav2vec2 Xls R Myv A1

🚀 自动语音识别模型 - wav2vec2-xls-r-myv-a1

本模型是基于自动语音识别技术的微调模型，在MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - MYV数据集上对[facebook/wav2vec2 - xls - r - 300m](https://huggingface.co/facebook/wav2vec2 - xls - r - 300m)进行微调。它在评估集上取得了较好的效果，可用于自动语音识别相关任务。

📄 许可证

本模型采用Apache - 2.0许可证。

✨ 主要特性

• 多语言支持：支持Erzya语（myv）的自动语音识别。
• 多数据集验证：在MOZILLA - FOUNDATION/COMMON_VOICE_8_0和speech - recognition - community - v2/dev_data等数据集上进行评估。
• 评估指标良好：在测试集上有一定的WER和CER指标表现。

📚 详细文档

模型信息

评估结果

本模型在评估集上取得了以下结果：

• Loss: 1.0356
• Wer: 0.6524

不同数据集评估指标

评估命令

1. 在mozilla - foundation/common_voice_8_0测试集上评估

python eval.py  --model_id DrishtiSharma/wav2vec2-xls-r-myv-a1 --dataset mozilla-foundation/common_voice_8_0 --config myv --split test --log_outputs

2. 在speech - recognition - community - v2/dev_data上评估

Erzya语言在speech - recognition - community - v2/dev_data中未找到。

训练超参数

训练过程中使用了以下超参数：

• learning_rate: 0.0004
• train_batch_size: 16
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9, 0.999) and epsilon = 1e - 08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 800
• num_epochs: 200.0
• mixed_precision_training: Native AMP

训练结果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.2.dev0
• Tokenizers 0.11.0

评估命令示例

!python eval.py \
    --model_id DrishtiSharma/wav2vec2-large-xls-r-300m-myv-v1 \
    --dataset mozilla-foundation/common_voice_8_0 --config myv --split test --log_outputs