🚀 xtreme_s_xlsr_minds14
このモデルは、音声認識や音声分類などのタスクに使用されるモデルです。facebook/wav2vec2-xls-r-300m をNoneデータセットでファインチューニングしたバージョンで、評価セットで良好な結果を達成しています。
🚀 クイックスタート
このモデルは facebook/wav2vec2-xls-r-300m をNoneデータセットでファインチューニングしたものです。評価セットでは以下の結果を達成しています。
- 損失: 0.2566
- F1: {'f1': 0.9460569664921582, 'accuracy': 0.9468540012217471}
🔧 技術詳細
学習ハイパーパラメータ
学習時には以下のハイパーパラメータが使用されました。
- 学習率: 0.0003
- 学習バッチサイズ: 32
- 評価バッチサイズ: 8
- シード: 42
- 分散タイプ: マルチGPU
- デバイス数: 2
- 総学習バッチサイズ: 64
- 総評価バッチサイズ: 16
- オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
- 学習率スケジューラタイプ: 線形
- 学習率スケジューラウォームアップステップ: 1500
- エポック数: 50.0
- 混合精度学習: Native AMP
学習結果
| 学習損失 |
エポック |
ステップ |
検証損失 |
F1 |
| 2.551 |
2.7 |
200 |
2.5921 |
{'f1': 0.03454307545755678, 'accuracy': 0.1148442272449603} |
| 1.6934 |
5.41 |
400 |
1.5353 |
{'f1': 0.5831241711045994, 'accuracy': 0.6053756872327428} |
| 0.5914 |
8.11 |
600 |
0.7337 |
{'f1': 0.7990425247664236, 'accuracy': 0.7947464874770922} |
| 0.3896 |
10.81 |
800 |
0.5076 |
{'f1': 0.8738199236080776, 'accuracy': 0.872327428222358} |
| 0.5052 |
13.51 |
1000 |
0.4917 |
{'f1': 0.8744760456867134, 'accuracy': 0.8747709224190593} |
| 0.4806 |
16.22 |
1200 |
0.4751 |
{'f1': 0.8840798740258787, 'accuracy': 0.8845448992058644} |
| 0.2103 |
18.92 |
1400 |
0.5228 |
{'f1': 0.8721632556623751, 'accuracy': 0.8729383017715333} |
| 0.4198 |
21.62 |
1600 |
0.5910 |
{'f1': 0.8755207264572983, 'accuracy': 0.8766035430665852} |
| 0.11 |
24.32 |
1800 |
0.4464 |
{'f1': 0.896423086249818, 'accuracy': 0.8955406230910201} |
| 0.1233 |
27.03 |
2000 |
0.3760 |
{'f1': 0.9012283567348968, 'accuracy': 0.9016493585827734} |
| 0.1827 |
29.73 |
2200 |
0.4178 |
{'f1': 0.9042381720184095, 'accuracy': 0.9059254734270006} |
| 0.1235 |
32.43 |
2400 |
0.4152 |
{'f1': 0.9063257163259107, 'accuracy': 0.9071472205253512} |
| 0.1873 |
35.14 |
2600 |
0.2903 |
{'f1': 0.9369340598806323, 'accuracy': 0.9376908979841173} |
| 0.017 |
37.84 |
2800 |
0.3046 |
{'f1': 0.9300781160576355, 'accuracy': 0.9303604153940135} |
| 0.0436 |
40.54 |
3000 |
0.3111 |
{'f1': 0.9315034391389341, 'accuracy': 0.9321930360415394} |
| 0.0455 |
43.24 |
3200 |
0.2748 |
{'f1': 0.9417365311433034, 'accuracy': 0.9425778863775198} |
| 0.046 |
45.95 |
3400 |
0.2800 |
{'f1': 0.9390712658440112, 'accuracy': 0.9395235186316433} |
| 0.0042 |
48.65 |
3600 |
0.2566 |
{'f1': 0.9460569664921582, 'accuracy': 0.9468540012217471} |
フレームワークバージョン
- Transformers 4.18.0.dev0
- Pytorch 1.10.2+cu113
- Datasets 1.18.4.dev0
- Tokenizers 0.11.6
📄 ライセンス
このモデルはApache-2.0ライセンスの下で提供されています。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応