🚀 vit-base-patch32-224-in21-leicester_binary
該模型是 google/vit-base-patch32-224-in21k 在 davanstrien/leicester_loaded_annotations_binary 數據集上的微調版本。它在評估集上取得了以下成果:
🚀 快速開始
此模型是基於 google/vit-base-patch32-224-in21k
進行微調得到的,可用於圖像分類任務。
📚 詳細文檔
模型描述
該模型是在 google/vit-base-patch32-224-in21k
基礎上,針對 davanstrien/leicester_loaded_annotations_binary 數據集進行微調。
預期用途和限制
文檔暫未提供相關信息。
訓練和評估數據
文檔暫未提供相關信息。
訓練過程
訓練超參數
訓練過程中使用了以下超參數:
- 學習率:2e-05
- 訓練批次大小:64
- 評估批次大小:128
- 隨機種子:1337
- 優化器:Adam(β1=0.9,β2=0.999,ε=1e-08)
- 學習率調度器類型:線性
- 訓練輪數:40.0
- 混合精度訓練:Native AMP
訓練結果
訓練損失 |
輪數 |
步數 |
驗證損失 |
F1值 |
無日誌 |
1.0 |
7 |
0.4529 |
0.8608 |
0.5024 |
2.0 |
14 |
0.3989 |
0.8608 |
0.3533 |
3.0 |
21 |
0.3741 |
0.8608 |
0.3533 |
4.0 |
28 |
0.3161 |
0.8608 |
0.285 |
5.0 |
35 |
0.2824 |
0.8608 |
0.2491 |
6.0 |
42 |
0.2701 |
0.8608 |
0.2491 |
7.0 |
49 |
0.2062 |
0.9114 |
0.2032 |
8.0 |
56 |
0.2050 |
0.9494 |
0.157 |
9.0 |
63 |
0.2013 |
0.9494 |
0.1127 |
10.0 |
70 |
0.1960 |
0.9367 |
0.1127 |
11.0 |
77 |
0.1417 |
0.9494 |
0.0903 |
12.0 |
84 |
0.1307 |
0.9494 |
0.0922 |
13.0 |
91 |
0.0870 |
0.9873 |
0.0922 |
14.0 |
98 |
0.2048 |
0.9241 |
0.0595 |
15.0 |
105 |
0.1204 |
0.9620 |
0.0527 |
16.0 |
112 |
0.2553 |
0.9367 |
0.0527 |
17.0 |
119 |
0.1675 |
0.9367 |
0.0477 |
18.0 |
126 |
0.2265 |
0.9241 |
0.0411 |
19.0 |
133 |
0.1901 |
0.9367 |
0.0299 |
20.0 |
140 |
0.2423 |
0.9241 |
0.0299 |
21.0 |
147 |
0.0639 |
0.9873 |
0.0487 |
22.0 |
154 |
0.1255 |
0.9494 |
0.0359 |
23.0 |
161 |
0.1213 |
0.9494 |
0.0359 |
24.0 |
168 |
0.0727 |
0.9747 |
0.0302 |
25.0 |
175 |
0.1116 |
0.9494 |
0.0304 |
26.0 |
182 |
0.1062 |
0.9494 |
0.0304 |
27.0 |
189 |
0.2097 |
0.9241 |
0.0274 |
28.0 |
196 |
0.1276 |
0.9494 |
0.0291 |
29.0 |
203 |
0.0967 |
0.9494 |
0.0202 |
30.0 |
210 |
0.0765 |
0.9747 |
0.0202 |
31.0 |
217 |
0.0628 |
0.9873 |
0.0232 |
32.0 |
224 |
0.1388 |
0.9494 |
0.0264 |
33.0 |
231 |
0.1062 |
0.9494 |
0.0264 |
34.0 |
238 |
0.1320 |
0.9494 |
0.0219 |
35.0 |
245 |
0.1528 |
0.9494 |
0.0194 |
36.0 |
252 |
0.1746 |
0.9494 |
0.0194 |
37.0 |
259 |
0.1609 |
0.9494 |
0.0204 |
38.0 |
266 |
0.1482 |
0.9494 |
0.0217 |
39.0 |
273 |
0.1522 |
0.9494 |
0.0216 |
40.0 |
280 |
0.1499 |
0.9494 |
框架版本
- Transformers 4.26.0.dev0
- Pytorch 1.12.1+cu113
- Datasets 2.7.1
- Tokenizers 0.13.2
📄 許可證
本模型採用 Apache-2.0 許可證。