🚀 exper_batch_8_e4
このモデルは、google/vit-base-patch16-224-in21k を sudo-s/herbier_mesuem1 データセットでファインチューニングしたものです。評価セットでは以下の結果を達成しています。
🚀 クイックスタート
このモデルは画像分類タスクに使用できます。以下に、評価セットでの主な指標を示します。
📚 ドキュメント
モデルの説明
詳細情報は後日提供予定です。
想定される用途と制限
詳細情報は後日提供予定です。
学習と評価データ
詳細情報は後日提供予定です。
学習手順
学習ハイパーパラメータ
学習時に使用されたハイパーパラメータは以下の通りです。
- 学習率: 0.0002
- 学習バッチサイズ: 8
- 評価バッチサイズ: 8
- シード: 42
- オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
- 学習率スケジューラの種類: linear
- エポック数: 4
- 混合精度学習: Apex, opt level O1
学習結果
| 学習損失 |
エポック |
ステップ |
検証損失 |
正解率 |
| 4.2251 |
0.08 |
100 |
4.1508 |
0.1203 |
| 3.4942 |
0.16 |
200 |
3.5566 |
0.2082 |
| 3.2871 |
0.23 |
300 |
3.0942 |
0.3092 |
| 2.7273 |
0.31 |
400 |
2.8338 |
0.3308 |
| 2.4984 |
0.39 |
500 |
2.4860 |
0.4341 |
| 2.3423 |
0.47 |
600 |
2.2201 |
0.4796 |
| 1.8785 |
0.55 |
700 |
2.1890 |
0.4653 |
| 1.8012 |
0.63 |
800 |
1.9901 |
0.4865 |
| 1.7236 |
0.7 |
900 |
1.6821 |
0.5736 |
| 1.4949 |
0.78 |
1000 |
1.5422 |
0.6083 |
| 1.5573 |
0.86 |
1100 |
1.5436 |
0.6110 |
| 1.3241 |
0.94 |
1200 |
1.4077 |
0.6207 |
| 1.0773 |
1.02 |
1300 |
1.1417 |
0.6916 |
| 0.7935 |
1.1 |
1400 |
1.1194 |
0.6931 |
| 0.7677 |
1.17 |
1500 |
1.0727 |
0.7167 |
| 0.9468 |
1.25 |
1600 |
1.0707 |
0.7136 |
| 0.7563 |
1.33 |
1700 |
0.9427 |
0.7390 |
| 0.8471 |
1.41 |
1800 |
0.8906 |
0.7571 |
| 0.9998 |
1.49 |
1900 |
0.8098 |
0.7845 |
| 0.6039 |
1.57 |
2000 |
0.7244 |
0.8034 |
| 0.7052 |
1.64 |
2100 |
0.7881 |
0.7953 |
| 0.6753 |
1.72 |
2200 |
0.7458 |
0.7926 |
| 0.3758 |
1.8 |
2300 |
0.6987 |
0.8022 |
| 0.4985 |
1.88 |
2400 |
0.6286 |
0.8265 |
| 0.4122 |
1.96 |
2500 |
0.5949 |
0.8358 |
| 0.1286 |
2.04 |
2600 |
0.5691 |
0.8385 |
| 0.1989 |
2.11 |
2700 |
0.5535 |
0.8389 |
| 0.3304 |
2.19 |
2800 |
0.5261 |
0.8520 |
| 0.3415 |
2.27 |
2900 |
0.5504 |
0.8477 |
| 0.4066 |
2.35 |
3000 |
0.5418 |
0.8497 |
| 0.1208 |
2.43 |
3100 |
0.5156 |
0.8612 |
| 0.1668 |
2.51 |
3200 |
0.5655 |
0.8539 |
| 0.0727 |
2.58 |
3300 |
0.4971 |
0.8658 |
| 0.0929 |
2.66 |
3400 |
0.4962 |
0.8635 |
| 0.0678 |
2.74 |
3500 |
0.4903 |
0.8670 |
| 0.1212 |
2.82 |
3600 |
0.4357 |
0.8867 |
| 0.1579 |
2.9 |
3700 |
0.4642 |
0.8739 |
| 0.2625 |
2.98 |
3800 |
0.3994 |
0.8951 |
| 0.024 |
3.05 |
3900 |
0.3953 |
0.8971 |
| 0.0696 |
3.13 |
4000 |
0.3883 |
0.9056 |
| 0.0169 |
3.21 |
4100 |
0.3755 |
0.9086 |
| 0.023 |
3.29 |
4200 |
0.3685 |
0.9109 |
| 0.0337 |
3.37 |
4300 |
0.3623 |
0.9109 |
| 0.0123 |
3.45 |
4400 |
0.3647 |
0.9067 |
| 0.0159 |
3.52 |
4500 |
0.3630 |
0.9082 |
| 0.0154 |
3.6 |
4600 |
0.3522 |
0.9094 |
| 0.0112 |
3.68 |
4700 |
0.3439 |
0.9163 |
| 0.0219 |
3.76 |
4800 |
0.3404 |
0.9194 |
| 0.0183 |
3.84 |
4900 |
0.3371 |
0.9183 |
| 0.0103 |
3.92 |
5000 |
0.3362 |
0.9183 |
| 0.0357 |
3.99 |
5100 |
0.3353 |
0.9183 |
フレームワークのバージョン
- Transformers 4.19.4
- Pytorch 1.5.1
- Datasets 2.3.2
- Tokenizers 0.12.1
📄 ライセンス
このモデルは Apache-2.0 ライセンスの下で提供されています。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応