🚀 自动语音识别模型
本模型是基于自动语音识别技术的模型,针对日语语音识别进行了优化。它在特定数据集上进行微调训练,能够实现高效准确的语音识别,为日语语音处理相关应用提供有力支持。
📄 许可证
本项目采用 Apache-2.0 许可证。
📚 详细文档
模型概述
此模型是 facebook/wav2vec2-xls-r-1b 在 MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - JA 数据集上的微调版本。在评估集上取得了以下结果:
- 损失值(Loss):0.5500
- 词错误率(Wer):1.0132
- 字符错误率(Cer):0.1609
模型评估结果
任务 |
数据集 |
评估指标 |
值 |
自动语音识别 |
Common Voice 8(日语) |
测试词错误率(Test WER) |
95.33 |
自动语音识别 |
Common Voice 8(日语) |
测试字符错误率(Test CER) |
22.27 |
自动语音识别 |
Robust Speech Event - Dev Data(德语) |
测试词错误率(Test WER) |
100.0 |
自动语音识别 |
Robust Speech Event - Dev Data(德语) |
测试字符错误率(Test CER) |
30.33 |
自动语音识别 |
Robust Speech Event - Dev Data(日语) |
测试字符错误率(Test CER) |
29.63 |
自动语音识别 |
Robust Speech Event - Test Data(日语) |
测试字符错误率(Test CER) |
32.69 |
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率(learning_rate):7.5e - 05
- 训练批次大小(train_batch_size):32
- 评估批次大小(eval_batch_size):8
- 随机种子(seed):42
- 梯度累积步数(gradient_accumulation_steps):4
- 总训练批次大小(total_train_batch_size):128
- 优化器(optimizer):Adam(β1 = 0.9,β2 = 0.999,ε = 1e - 08)
- 学习率调度器类型(lr_scheduler_type):线性
- 学习率调度器热身步数(lr_scheduler_warmup_steps):1500
- 训练轮数(num_epochs):50.0
- 混合精度训练(mixed_precision_training):Native AMP
训练结果
训练损失 |
轮数 |
步数 |
验证损失 |
词错误率(Wer) |
字符错误率(Cer) |
1.7019 |
12.65 |
1000 |
1.0510 |
0.9832 |
0.2589 |
1.6385 |
25.31 |
2000 |
0.6670 |
0.9915 |
0.1851 |
1.4344 |
37.97 |
3000 |
0.6183 |
1.0213 |
0.1797 |
框架版本
- Transformers:4.17.0.dev0
- Pytorch:1.10.2 + cu102
- Datasets:1.18.2.dev0
- Tokenizers:0.11.0
评估命令
- 在
mozilla - foundation/common_voice_8_0
数据集的 test
分割上进行评估:
python ./eval.py --model_id AndrewMcDowell/wav2vec2-xls-r-1b-japanese-hiragana-katakana --dataset mozilla-foundation/common_voice_8_0 --config ja --split test --log_outputs
- 在
mozilla - foundation/common_voice_8_0
数据集的 test
分割上进行评估:
python ./eval.py --model_id AndrewMcDowell/wav2vec2-xls-r-1b-japanese-hiragana-katakana --dataset speech-recognition-community-v2/dev_data --config de --split validation --chunk_length_s 5.0 --stride_length_s 1.0