🚀 wav2vec2-model2-torgo
このモデルは、Noneデータセットを使用してゼロから学習されました。評価セットでは、以下の結果を達成しています。
- 損失: 4.9975
- 単語誤り率 (Wer): 1.0
🚀 クイックスタート
このモデルは、音声関連のタスクに使用できます。具体的な使用方法については、以下のセクションを参照してください。
🔧 技術詳細
学習ハイパーパラメータ
学習中に使用されたハイパーパラメータは以下の通りです。
| ハイパーパラメータ |
値 |
| 学習率 (learning_rate) |
0.1 |
| 学習バッチサイズ (train_batch_size) |
1 |
| 評価バッチサイズ (eval_batch_size) |
8 |
| 乱数シード (seed) |
42 |
| 勾配累積ステップ数 (gradient_accumulation_steps) |
4 |
| 総学習バッチサイズ (total_train_batch_size) |
4 |
| オプティマイザ (optimizer) |
Adam (betas=(0.9,0.999), epsilon=1e-08) |
| 学習率スケジューラの種類 (lr_scheduler_type) |
線形 (linear) |
| 学習率スケジューラのウォームアップステップ数 (lr_scheduler_warmup_steps) |
1000 |
| エポック数 (num_epochs) |
30 |
学習結果
学習中の損失と評価指標の推移は以下の通りです。
| 学習損失 (Training Loss) |
エポック (Epoch) |
ステップ (Step) |
検証損失 (Validation Loss) |
単語誤り率 (Wer) |
| 12.5453 |
0.76 |
500 |
14.6490 |
1.0 |
| 4.8036 |
1.53 |
1000 |
8.4523 |
1.0 |
| 5.0421 |
2.29 |
1500 |
5.4114 |
1.0 |
| 5.2055 |
3.05 |
2000 |
11.0507 |
1.0 |
| 4.6389 |
3.82 |
2500 |
4.6792 |
1.0 |
| 4.5523 |
4.58 |
3000 |
4.7855 |
1.0 |
| 4.7843 |
5.34 |
3500 |
11.2783 |
1.0 |
| 4.6066 |
6.11 |
4000 |
8.7807 |
1.0 |
| 4.7382 |
6.87 |
4500 |
2942.0220 |
1.0 |
| 130.5733 |
7.63 |
5000 |
5.8412 |
1.0 |
| 4.4972 |
8.4 |
5500 |
17.7038 |
1.0 |
| 4.5196 |
9.16 |
6000 |
11.4548 |
1.0 |
| 4.3198 |
9.92 |
6500 |
6.0885 |
1.0 |
| 4.4273 |
10.69 |
7000 |
6.7374 |
1.0 |
| 4.2783 |
11.45 |
7500 |
4.7276 |
1.0 |
| 4.2985 |
12.21 |
8000 |
6.1412 |
1.0 |
| 4.3262 |
12.98 |
8500 |
5.2621 |
1.0 |
| 4.1705 |
13.74 |
9000 |
5.2214 |
1.0 |
| 4.3176 |
14.5 |
9500 |
5.5359 |
1.0 |
| 3.9808 |
15.27 |
10000 |
4.1537 |
1.0 |
| 4.0228 |
16.03 |
10500 |
4.2962 |
1.0 |
| 4.0595 |
16.79 |
11000 |
7.6361 |
1.0 |
| 4.0088 |
17.56 |
11500 |
6.8715 |
1.0 |
| 3.8727 |
18.32 |
12000 |
8.8657 |
1.0 |
| 4.0073 |
19.08 |
12500 |
5.8170 |
1.0 |
| 3.8511 |
19.85 |
13000 |
13.9836 |
1.0 |
| 4.0899 |
20.61 |
13500 |
5.3287 |
1.0 |
| 3.8782 |
21.37 |
14000 |
8.0635 |
1.0 |
| 3.9235 |
22.14 |
14500 |
5.5129 |
1.0 |
| 3.7276 |
22.9 |
15000 |
5.0819 |
1.0 |
| 3.7908 |
23.66 |
15500 |
6.1458 |
1.0 |
| 3.9176 |
24.43 |
16000 |
4.6094 |
1.0 |
| 3.8477 |
25.19 |
16500 |
5.1406 |
1.0 |
| 3.6917 |
25.95 |
17000 |
4.5684 |
1.0 |
| 3.8568 |
26.72 |
17500 |
4.0306 |
1.0 |
| 3.7231 |
27.48 |
18000 |
5.6331 |
1.0 |
| 3.8145 |
28.24 |
18500 |
8.2997 |
1.0 |
| 3.7809 |
29.01 |
19000 |
5.7468 |
1.0 |
| 3.5995 |
29.77 |
19500 |
4.9975 |
1.0 |
フレームワークバージョン
- Transformers 4.17.0
- Pytorch 1.11.0
- Datasets 1.18.3
- Tokenizers 0.11.6
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応