🚀 facebook/wav2vec2-xls-r-300m
このモデルは、自動音声認識を目的としたモデルで、facebook/wav2vec2-xls-r-300m を GTTSEHU/BASQUE_PARLIAMENT_1 - NA データセットでファインチューニングしたものです。評価セットでは、以下の結果を達成しています。
この研究は、スペイン科学技術革新省（OPENSPEECHプロジェクト、PID2019 - 106424RB - I00）によって一部資金提供されています。
- 損失: 0.0846
- Wer: 0.0367
- Cer: 0.0132
🚀 クイックスタート
このモデルは、自動音声認識タスクに使用できます。以下の評価指標で良好な結果を示しています。
🔧 技術詳細
学習ハイパーパラメータ
学習中に使用されたハイパーパラメータは以下の通りです。
| ハイパーパラメータ |
値 |
| learning_rate |
0.0001 |
| train_batch_size |
4 |
| eval_batch_size |
4 |
| seed |
42 |
| distributed_type |
multi - GPU |
| num_devices |
4 |
| gradient_accumulation_steps |
2 |
| total_train_batch_size |
32 |
| total_eval_batch_size |
16 |
| optimizer |
Adam (betas=(0.9,0.999), epsilon=1e - 08) |
| lr_scheduler_type |
linear |
| lr_scheduler_warmup_steps |
1000 |
| num_epochs |
6.0 |
| mixed_precision_training |
Native AMP |
学習結果
| 学習損失 |
エポック |
ステップ |
検証損失 |
Wer |
Cer |
| 0.7054 |
0.19 |
4000 |
0.1011 |
0.0871 |
0.0227 |
| 0.0856 |
0.39 |
8000 |
0.0995 |
0.0747 |
0.0207 |
| 0.075 |
0.58 |
12000 |
0.0868 |
0.0647 |
0.0185 |
| 0.0694 |
0.77 |
16000 |
0.0853 |
0.0619 |
0.0183 |
| 0.0658 |
0.97 |
20000 |
0.0778 |
0.0573 |
0.0171 |
| 0.0589 |
1.16 |
24000 |
0.0821 |
0.0546 |
0.0166 |
| 0.0572 |
1.35 |
28000 |
0.0827 |
0.0558 |
0.0170 |
| 0.0551 |
1.55 |
32000 |
0.0830 |
0.0533 |
0.0169 |
| 0.054 |
1.74 |
36000 |
0.0788 |
0.0512 |
0.0162 |
| 0.0524 |
1.93 |
40000 |
0.0783 |
0.0489 |
0.0156 |
| 0.048 |
2.13 |
44000 |
0.0861 |
0.0492 |
0.0160 |
| 0.046 |
2.32 |
48000 |
0.0763 |
0.0494 |
0.0154 |
| 0.0456 |
2.51 |
52000 |
0.0835 |
0.0471 |
0.0153 |
| 0.0439 |
2.71 |
56000 |
0.0790 |
0.0469 |
0.0152 |
| 0.0436 |
2.9 |
60000 |
0.0832 |
0.0472 |
0.0155 |
| 0.0406 |
3.09 |
64000 |
0.0810 |
0.0442 |
0.0148 |
| 0.0386 |
3.29 |
68000 |
0.0810 |
0.0436 |
0.0146 |
| 0.038 |
3.48 |
72000 |
0.0778 |
0.0430 |
0.0143 |
| 0.0373 |
3.67 |
76000 |
0.0785 |
0.0430 |
0.0144 |
| 0.0363 |
3.87 |
80000 |
0.0788 |
0.0421 |
0.0144 |
| 0.0348 |
4.06 |
84000 |
0.0823 |
0.0423 |
0.0144 |
| 0.0323 |
4.25 |
88000 |
0.0819 |
0.0407 |
0.0143 |
| 0.0319 |
4.45 |
92000 |
0.0809 |
0.0410 |
0.0142 |
| 0.0314 |
4.64 |
96000 |
0.0821 |
0.0400 |
0.0138 |
| 0.0306 |
4.83 |
100000 |
0.0813 |
0.0389 |
0.0137 |
| 0.0295 |
5.03 |
104000 |
0.0820 |
0.0377 |
0.0131 |
| 0.0275 |
5.22 |
108000 |
0.0866 |
0.0378 |
0.0137 |
| 0.0267 |
5.41 |
112000 |
0.0831 |
0.0376 |
0.0134 |
| 0.0264 |
5.61 |
116000 |
0.0845 |
0.0369 |
0.0132 |
| 0.0258 |
5.8 |
120000 |
0.0859 |
0.0370 |
0.0133 |
| 0.0254 |
6.0 |
124000 |
0.0846 |
0.0367 |
0.0132 |
フレームワークのバージョン
- Transformers 4.36.0.dev0
- Pytorch 2.1.1+cu121
- Datasets 2.15.1.dev0
- Tokenizers 0.15.0
📄 ライセンス
このモデルは、Apache - 2.0ライセンスの下で提供されています。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応