🚀 vit-base-patch32-224-in21-leicester_binary
该模型是 google/vit-base-patch32-224-in21k 在 davanstrien/leicester_loaded_annotations_binary 数据集上的微调版本。它在评估集上取得了以下成果:
🚀 快速开始
此模型是基于 google/vit-base-patch32-224-in21k
进行微调得到的,可用于图像分类任务。
📚 详细文档
模型描述
该模型是在 google/vit-base-patch32-224-in21k
基础上,针对 davanstrien/leicester_loaded_annotations_binary 数据集进行微调。
预期用途和限制
文档暂未提供相关信息。
训练和评估数据
文档暂未提供相关信息。
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率:2e-05
- 训练批次大小:64
- 评估批次大小:128
- 随机种子:1337
- 优化器:Adam(β1=0.9,β2=0.999,ε=1e-08)
- 学习率调度器类型:线性
- 训练轮数:40.0
- 混合精度训练:Native AMP
训练结果
训练损失 |
轮数 |
步数 |
验证损失 |
F1值 |
无日志 |
1.0 |
7 |
0.4529 |
0.8608 |
0.5024 |
2.0 |
14 |
0.3989 |
0.8608 |
0.3533 |
3.0 |
21 |
0.3741 |
0.8608 |
0.3533 |
4.0 |
28 |
0.3161 |
0.8608 |
0.285 |
5.0 |
35 |
0.2824 |
0.8608 |
0.2491 |
6.0 |
42 |
0.2701 |
0.8608 |
0.2491 |
7.0 |
49 |
0.2062 |
0.9114 |
0.2032 |
8.0 |
56 |
0.2050 |
0.9494 |
0.157 |
9.0 |
63 |
0.2013 |
0.9494 |
0.1127 |
10.0 |
70 |
0.1960 |
0.9367 |
0.1127 |
11.0 |
77 |
0.1417 |
0.9494 |
0.0903 |
12.0 |
84 |
0.1307 |
0.9494 |
0.0922 |
13.0 |
91 |
0.0870 |
0.9873 |
0.0922 |
14.0 |
98 |
0.2048 |
0.9241 |
0.0595 |
15.0 |
105 |
0.1204 |
0.9620 |
0.0527 |
16.0 |
112 |
0.2553 |
0.9367 |
0.0527 |
17.0 |
119 |
0.1675 |
0.9367 |
0.0477 |
18.0 |
126 |
0.2265 |
0.9241 |
0.0411 |
19.0 |
133 |
0.1901 |
0.9367 |
0.0299 |
20.0 |
140 |
0.2423 |
0.9241 |
0.0299 |
21.0 |
147 |
0.0639 |
0.9873 |
0.0487 |
22.0 |
154 |
0.1255 |
0.9494 |
0.0359 |
23.0 |
161 |
0.1213 |
0.9494 |
0.0359 |
24.0 |
168 |
0.0727 |
0.9747 |
0.0302 |
25.0 |
175 |
0.1116 |
0.9494 |
0.0304 |
26.0 |
182 |
0.1062 |
0.9494 |
0.0304 |
27.0 |
189 |
0.2097 |
0.9241 |
0.0274 |
28.0 |
196 |
0.1276 |
0.9494 |
0.0291 |
29.0 |
203 |
0.0967 |
0.9494 |
0.0202 |
30.0 |
210 |
0.0765 |
0.9747 |
0.0202 |
31.0 |
217 |
0.0628 |
0.9873 |
0.0232 |
32.0 |
224 |
0.1388 |
0.9494 |
0.0264 |
33.0 |
231 |
0.1062 |
0.9494 |
0.0264 |
34.0 |
238 |
0.1320 |
0.9494 |
0.0219 |
35.0 |
245 |
0.1528 |
0.9494 |
0.0194 |
36.0 |
252 |
0.1746 |
0.9494 |
0.0194 |
37.0 |
259 |
0.1609 |
0.9494 |
0.0204 |
38.0 |
266 |
0.1482 |
0.9494 |
0.0217 |
39.0 |
273 |
0.1522 |
0.9494 |
0.0216 |
40.0 |
280 |
0.1499 |
0.9494 |
框架版本
- Transformers 4.26.0.dev0
- Pytorch 1.12.1+cu113
- Datasets 2.7.1
- Tokenizers 0.13.2
📄 许可证
本模型采用 Apache-2.0 许可证。