🚀 exper6_mesum5
該模型是 google/vit-base-patch16-224-in21k 在 sudo-s/herbier_mesuem5 數據集上的微調版本。它在評估集上取得了如下結果:
🚀 快速開始
本模型是基於預訓練模型 google/vit-base-patch16-224-in21k
在特定數據集上微調得到的圖像分類模型。可直接加載使用,在圖像分類任務中表現良好。
📚 詳細文檔
訓練和評估數據
原文檔未提供訓練和評估數據的詳細信息。
模型描述
原文檔未提供模型的詳細描述。
預期用途與限制
原文檔未提供模型的預期用途與限制的詳細信息。
🔧 技術細節
訓練過程
訓練超參數
訓練過程中使用了以下超參數:
- 學習率:0.0002
- 訓練批次大小:16
- 評估批次大小:8
- 隨機種子:42
- 優化器:Adam(β1 = 0.9,β2 = 0.999,ε = 1e-08)
- 學習率調度器類型:線性
- 訓練輪數:16
- 混合精度訓練:Native AMP
訓練結果
訓練損失 |
輪數 |
步數 |
驗證損失 |
準確率 |
3.9276 |
0.23 |
100 |
3.8550 |
0.2089 |
3.0853 |
0.47 |
200 |
3.1106 |
0.3414 |
2.604 |
0.7 |
300 |
2.5732 |
0.4379 |
2.3183 |
0.93 |
400 |
2.2308 |
0.4882 |
1.5326 |
1.16 |
500 |
1.7903 |
0.5828 |
1.3367 |
1.4 |
600 |
1.5524 |
0.6349 |
1.1544 |
1.63 |
700 |
1.3167 |
0.6645 |
1.0788 |
1.86 |
800 |
1.3423 |
0.6385 |
0.6762 |
2.09 |
900 |
1.0780 |
0.7124 |
0.6483 |
2.33 |
1000 |
1.0090 |
0.7284 |
0.6321 |
2.56 |
1100 |
1.0861 |
0.7024 |
0.5558 |
2.79 |
1200 |
0.9933 |
0.7183 |
0.342 |
3.02 |
1300 |
0.8871 |
0.7462 |
0.2964 |
3.26 |
1400 |
0.9330 |
0.7408 |
0.1959 |
3.49 |
1500 |
0.9367 |
0.7343 |
0.368 |
3.72 |
1600 |
0.8472 |
0.7550 |
0.1821 |
3.95 |
1700 |
0.8937 |
0.7568 |
0.1851 |
4.19 |
1800 |
0.9546 |
0.7485 |
0.1648 |
4.42 |
1900 |
0.9790 |
0.7355 |
0.172 |
4.65 |
2000 |
0.8947 |
0.7627 |
0.0928 |
4.88 |
2100 |
1.0093 |
0.7462 |
0.0699 |
5.12 |
2200 |
0.8374 |
0.7639 |
0.0988 |
5.35 |
2300 |
0.9189 |
0.7645 |
0.0822 |
5.58 |
2400 |
0.9512 |
0.7580 |
0.1223 |
5.81 |
2500 |
1.0809 |
0.7349 |
0.0509 |
6.05 |
2600 |
0.9297 |
0.7769 |
0.0511 |
6.28 |
2700 |
0.8981 |
0.7822 |
0.0596 |
6.51 |
2800 |
0.9468 |
0.7704 |
0.0494 |
6.74 |
2900 |
0.9045 |
0.7870 |
0.0643 |
6.98 |
3000 |
1.1559 |
0.7391 |
0.0158 |
7.21 |
3100 |
0.8450 |
0.7899 |
0.0129 |
7.44 |
3200 |
0.8241 |
0.8036 |
0.0441 |
7.67 |
3300 |
0.9679 |
0.7751 |
0.0697 |
7.91 |
3400 |
1.0387 |
0.7751 |
0.0084 |
8.14 |
3500 |
0.9441 |
0.7947 |
0.0182 |
8.37 |
3600 |
0.8967 |
0.7994 |
0.0042 |
8.6 |
3700 |
0.8750 |
0.8041 |
0.0028 |
8.84 |
3800 |
0.9349 |
0.8041 |
0.0053 |
9.07 |
3900 |
0.9403 |
0.7982 |
0.0266 |
9.3 |
4000 |
0.9966 |
0.7959 |
0.0022 |
9.53 |
4100 |
0.9472 |
0.8018 |
0.0018 |
9.77 |
4200 |
0.8717 |
0.8136 |
0.0018 |
10.0 |
4300 |
0.8964 |
0.8083 |
0.0046 |
10.23 |
4400 |
0.8623 |
0.8160 |
0.0037 |
10.47 |
4500 |
0.8762 |
0.8172 |
0.0013 |
10.7 |
4600 |
0.9028 |
0.8142 |
0.0013 |
10.93 |
4700 |
0.9084 |
0.8178 |
0.0013 |
11.16 |
4800 |
0.8733 |
0.8213 |
0.001 |
11.4 |
4900 |
0.8823 |
0.8207 |
0.0009 |
11.63 |
5000 |
0.8769 |
0.8213 |
0.0282 |
11.86 |
5100 |
0.8791 |
0.8219 |
0.001 |
12.09 |
5200 |
0.8673 |
0.8249 |
0.0016 |
12.33 |
5300 |
0.8633 |
0.8225 |
0.0008 |
12.56 |
5400 |
0.8766 |
0.8195 |
0.0008 |
12.79 |
5500 |
0.8743 |
0.8225 |
0.0008 |
13.02 |
5600 |
0.8752 |
0.8231 |
0.0008 |
13.26 |
5700 |
0.8676 |
0.8237 |
0.0007 |
13.49 |
5800 |
0.8677 |
0.8237 |
0.0008 |
13.72 |
5900 |
0.8703 |
0.8237 |
0.0007 |
13.95 |
6000 |
0.8725 |
0.8237 |
0.0006 |
14.19 |
6100 |
0.8741 |
0.8231 |
0.0006 |
14.42 |
6200 |
0.8758 |
0.8237 |
0.0008 |
14.65 |
6300 |
0.8746 |
0.8243 |
0.0007 |
14.88 |
6400 |
0.8759 |
0.8243 |
0.0007 |
15.12 |
6500 |
0.8803 |
0.8231 |
0.0007 |
15.35 |
6600 |
0.8808 |
0.8237 |
0.0007 |
15.58 |
6700 |
0.8798 |
0.8243 |
0.0007 |
15.81 |
6800 |
0.8805 |
0.8243 |
框架版本
- Transformers 4.20.1
- Pytorch 1.12.0+cu113
- Datasets 2.3.2
- Tokenizers 0.12.1
📄 許可證
本模型採用 Apache-2.0 許可證。