🚀 wav2vec2-large-xls-r-300m-ia
該模型是在通用語音(Common Voice)數據集上對 facebook/wav2vec2-xls-r-300m 進行微調後的版本。它在自動語音識別任務中表現出色,能夠有效處理相關語音數據,為語音識別領域提供了有力的支持。
🚀 快速開始
此模型是在通用語音數據集上對 facebook/wav2vec2-xls-r-300m 進行微調的版本。它在評估集上取得了以下結果:
- 損失(Loss):0.1452
- 字錯誤率(Wer):0.1253
✨ 主要特性
📚 詳細文檔
訓練過程
訓練在 Google Colab 中進行,訓練筆記本可在倉庫中找到。
訓練和評估數據
語言模型是根據數據集(國際語的通用語音 8.0)的訓練 + 驗證分割中的處理後句子文本創建的。評估在筆記本中進行,你可以在倉庫中的 "notebook_evaluation_wav2vec2_ia.ipynb" 裡查看。
評估指標
- 不使用語言模型(LM)的測試字錯誤率(WER):20.1776 %
- 不使用語言模型(LM)的測試字符錯誤率(CER):4.7205 %
- 使用語言模型(LM)的測試字錯誤率(WER):8.6074 %
- 使用語言模型(LM)的測試字符錯誤率(CER):2.4147 %
評估命令
使用 eval.py 進行評估:
huggingface-cli login
python eval.py --model_id ayameRushia/wav2vec2-large-xls-r-300m-ia --dataset mozilla-foundation/common_voice_8_0 --config ia --split test
python eval.py --model_id ayameRushia/wav2vec2-large-xls-r-300m-ia --dataset mozilla-foundation/common_voice_8_0 --config ia --split test --greedy
訓練超參數
訓練過程中使用了以下超參數:
屬性 |
詳情 |
學習率(learning_rate) |
3e-05 |
訓練批次大小(train_batch_size) |
16 |
評估批次大小(eval_batch_size) |
4 |
隨機種子(seed) |
42 |
梯度累積步數(gradient_accumulation_steps) |
2 |
總訓練批次大小(total_train_batch_size) |
32 |
優化器(optimizer) |
Adam(β1 = 0.9,β2 = 0.999,ε = 1e-08) |
學習率調度器類型(lr_scheduler_type) |
線性 |
學習率調度器熱身步數(lr_scheduler_warmup_steps) |
400 |
訓練輪數(num_epochs) |
30 |
混合精度訓練(mixed_precision_training) |
原生自動混合精度(Native AMP) |
訓練結果
訓練損失(Training Loss) |
輪數(Epoch) |
步數(Step) |
驗證損失(Validation Loss) |
字錯誤率(Wer) |
7.432 |
1.87 |
400 |
2.9636 |
1.0 |
2.6922 |
3.74 |
800 |
2.2111 |
0.9977 |
1.2581 |
5.61 |
1200 |
0.4864 |
0.4028 |
0.6232 |
7.48 |
1600 |
0.2807 |
0.2413 |
0.4479 |
9.35 |
2000 |
0.2219 |
0.1885 |
0.3654 |
11.21 |
2400 |
0.1886 |
0.1606 |
0.323 |
13.08 |
2800 |
0.1716 |
0.1444 |
0.2935 |
14.95 |
3200 |
0.1687 |
0.1443 |
0.2707 |
16.82 |
3600 |
0.1632 |
0.1382 |
0.2559 |
18.69 |
4000 |
0.1507 |
0.1337 |
0.2433 |
20.56 |
4400 |
0.1572 |
0.1358 |
0.2338 |
22.43 |
4800 |
0.1489 |
0.1305 |
0.2258 |
24.3 |
5200 |
0.1485 |
0.1278 |
0.2218 |
26.17 |
5600 |
0.1470 |
0.1272 |
0.2169 |
28.04 |
6000 |
0.1470 |
0.1270 |
0.2117 |
29.91 |
6400 |
0.1452 |
0.1253 |
框架版本
- Transformers 4.17.0.dev0
- Pytorch 1.10.0+cu111
- Datasets 1.18.3
- Tokenizers 0.11.0
📄 許可證
本項目採用 Apache-2.0 許可證。