🚀 sammy786/wav2vec2-xlsr-romansh_sursilvan
這個模型是 facebook/wav2vec2-xls-r-1b 在 MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - rm-sursilv 數據集上的微調版本。它在評估集(訓練數據集的 10% 與其他和開發數據集合並)上取得了以下結果:
✨ 主要特性
- 基於預訓練模型 "facebook/wav2vec2-xls-r-1b" 進行微調。
- 在特定數據集上進行訓練,以適應相關語音識別任務。
📚 詳細文檔
模型描述
對 "facebook/wav2vec2-xls-r-1b" 進行了微調。
預期用途與限制
需要更多信息。
訓練和評估數據
- 訓練數據:Common voice Finnish train.tsv、dev.tsv 和 other.tsv
訓練過程
為創建訓練數據集,將所有可能的數據集進行合併,並採用 90 - 10 的分割方式。
訓練超參數
訓練期間使用了以下超參數:
- 學習率(learning_rate):0.000045637994662983496
- 訓練批次大小(train_batch_size):16
- 評估批次大小(eval_batch_size):16
- 隨機種子(seed):13
- 梯度累積步數(gradient_accumulation_steps):2
- 總訓練批次大小(total_train_batch_size):32
- 優化器(optimizer):Adam(β1 = 0.9,β2 = 0.999,ε = 1e-08)
- 學習率調度器類型(lr_scheduler_type):cosine_with_restarts
- 學習率調度器熱身步數(lr_scheduler_warmup_steps):500
- 訓練輪數(num_epochs):40
- 混合精度訓練(mixed_precision_training):Native AMP
訓練結果
步驟 |
訓練損失 |
驗證損失 |
字錯率(Wer) |
200 |
4.825500 |
2.932350 |
1.000000 |
400 |
1.325600 |
0.292645 |
0.415436 |
600 |
0.709800 |
0.219167 |
0.324451 |
800 |
0.576800 |
0.174390 |
0.275477 |
1000 |
0.538100 |
0.183737 |
0.272116 |
1200 |
0.475200 |
0.159078 |
0.253871 |
1400 |
0.420400 |
0.167277 |
0.240907 |
1600 |
0.393500 |
0.167216 |
0.247269 |
1800 |
0.407500 |
0.178282 |
0.239827 |
2000 |
0.374400 |
0.184590 |
0.239467 |
2200 |
0.382600 |
0.164106 |
0.227824 |
2400 |
0.363100 |
0.162543 |
0.228544 |
2600 |
0.199000 |
0.172903 |
0.231665 |
2800 |
0.150800 |
0.160117 |
0.222662 |
3000 |
0.101100 |
0.169553 |
0.222662 |
3200 |
0.104200 |
0.161056 |
0.220622 |
3400 |
0.096900 |
0.161562 |
0.216781 |
3600 |
0.092200 |
0.163880 |
0.212580 |
3800 |
0.089200 |
0.162288 |
0.214140 |
4000 |
0.076200 |
0.160470 |
0.213540 |
4200 |
0.087900 |
0.162827 |
0.213060 |
4400 |
0.066200 |
0.161096 |
0.213300 |
4600 |
0.076000 |
0.162060 |
0.213660 |
4800 |
0.071400 |
0.162045 |
0.213300 |
框架版本
- Transformers 4.16.0.dev0
- Pytorch 1.10.0+cu102
- Datasets 1.17.1.dev0
- Tokenizers 0.10.3
評估命令
- 在
mozilla-foundation/common_voice_8_0
數據集的 test
分割上進行評估:
python eval.py --model_id sammy786/wav2vec2-xlsr-romansh_sursilvan --dataset mozilla-foundation/common_voice_8_0 --config rm-sursilv --split test
📄 許可證
本模型採用 Apache-2.0 許可證。