🚀 wav2vec2-large-xlsr-coraa-portuguese-cv7
該模型是基於 Edresson/wav2vec2-large-xlsr-coraa-portuguese 在 common_voice 數據集上進行微調的版本。它在評估集上取得了以下結果:
- 損失值:0.1777
- 字錯率(Wer):0.1339
📚 詳細文檔
訓練和評估數據
更多信息待補充。
訓練過程
訓練超參數
訓練過程中使用了以下超參數:
- 學習率:0.0001
- 訓練批次大小:8
- 評估批次大小:8
- 隨機種子:42
- 梯度累積步數:2
- 總訓練批次大小:16
- 優化器:Adam,β=(0.9, 0.999),ε=1e-08
- 學習率調度器類型:線性
- 學習率調度器熱身步數:100
- 訓練步數:5000
訓練結果
訓練損失 |
輪數 |
步數 |
驗證損失 |
字錯率(Wer) |
0.4779 |
0.13 |
100 |
0.2620 |
0.2020 |
0.4505 |
0.26 |
200 |
0.2339 |
0.1998 |
0.4285 |
0.39 |
300 |
0.2507 |
0.2109 |
0.4148 |
0.52 |
400 |
0.2311 |
0.2101 |
0.4072 |
0.65 |
500 |
0.2278 |
0.1899 |
0.388 |
0.78 |
600 |
0.2193 |
0.1898 |
0.3952 |
0.91 |
700 |
0.2108 |
0.1901 |
0.3851 |
1.04 |
800 |
0.2121 |
0.1788 |
0.3496 |
1.17 |
900 |
0.2154 |
0.1776 |
0.3063 |
1.3 |
1000 |
0.2095 |
0.1730 |
0.3376 |
1.43 |
1100 |
0.2129 |
0.1801 |
0.3273 |
1.56 |
1200 |
0.2132 |
0.1776 |
0.3347 |
1.69 |
1300 |
0.2054 |
0.1698 |
0.323 |
1.82 |
1400 |
0.1986 |
0.1724 |
0.3079 |
1.95 |
1500 |
0.2005 |
0.1701 |
0.3029 |
2.08 |
1600 |
0.2159 |
0.1644 |
0.2694 |
2.21 |
1700 |
0.1992 |
0.1678 |
0.2733 |
2.34 |
1800 |
0.2032 |
0.1657 |
0.269 |
2.47 |
1900 |
0.2056 |
0.1592 |
0.2869 |
2.6 |
2000 |
0.2058 |
0.1616 |
0.2813 |
2.73 |
2100 |
0.1868 |
0.1584 |
0.2616 |
2.86 |
2200 |
0.1841 |
0.1550 |
0.2809 |
2.99 |
2300 |
0.1902 |
0.1577 |
0.2598 |
3.12 |
2400 |
0.1910 |
0.1514 |
0.24 |
3.25 |
2500 |
0.1971 |
0.1555 |
0.2481 |
3.38 |
2600 |
0.1853 |
0.1537 |
0.2437 |
3.51 |
2700 |
0.1897 |
0.1496 |
0.2384 |
3.64 |
2800 |
0.1842 |
0.1495 |
0.2405 |
3.77 |
2900 |
0.1884 |
0.1500 |
0.2372 |
3.9 |
3000 |
0.1950 |
0.1548 |
0.229 |
4.03 |
3100 |
0.1928 |
0.1477 |
0.2047 |
4.16 |
3200 |
0.1891 |
0.1472 |
0.2102 |
4.29 |
3300 |
0.1930 |
0.1473 |
0.199 |
4.42 |
3400 |
0.1914 |
0.1456 |
0.2121 |
4.55 |
3500 |
0.1840 |
0.1437 |
0.211 |
4.67 |
3600 |
0.1843 |
0.1403 |
0.2072 |
4.8 |
3700 |
0.1836 |
0.1428 |
0.2224 |
4.93 |
3800 |
0.1747 |
0.1412 |
0.1974 |
5.06 |
3900 |
0.1813 |
0.1416 |
0.1895 |
5.19 |
4000 |
0.1869 |
0.1406 |
0.1763 |
5.32 |
4100 |
0.1830 |
0.1394 |
0.2001 |
5.45 |
4200 |
0.1775 |
0.1394 |
0.1909 |
5.58 |
4300 |
0.1806 |
0.1373 |
0.1812 |
5.71 |
4400 |
0.1784 |
0.1359 |
0.1737 |
5.84 |
4500 |
0.1778 |
0.1353 |
0.1915 |
5.97 |
4600 |
0.1777 |
0.1349 |
0.1921 |
6.1 |
4700 |
0.1784 |
0.1359 |
0.1805 |
6.23 |
4800 |
0.1757 |
0.1348 |
0.1742 |
6.36 |
4900 |
0.1771 |
0.1341 |
0.1709 |
6.49 |
5000 |
0.1777 |
0.1339 |
框架版本
- Transformers 4.16.1
- Pytorch 1.10.0+cu111
- Datasets 1.18.2
- Tokenizers 0.11.0
📄 許可證
本項目採用 Apache-2.0 許可證。
模型信息表格
屬性 |
詳情 |
模型類型 |
基於 wav2vec2-large-xlsr-coraa-portuguese 微調的模型 |
訓練數據 |
common_voice 數據集 |