🚀 exper3_mesum5
exper3_mesum5 模型是 google/vit-base-patch16-224-in21k 在 sudo-s/herbier_mesuem5 数据集上的微调版本。该模型在评估集上取得了以下成果:
🚀 快速开始
此部分暂未提供相关内容,若有需要可进一步补充。
✨ 主要特性
此模型基于 google/vit-base-patch16-224-in21k 进行微调,适用于图像分类任务,在 sudo-s/herbier_mesuem5 数据集的评估集上展现出了较高的准确率。
🔧 技术细节
训练超参数
训练过程中使用了以下超参数:
- 学习率:0.0002
- 训练批次大小:16
- 评估批次大小:8
- 随机种子:42
- 优化器:Adam(β1 = 0.9,β2 = 0.999,ε = 1e-08)
- 学习率调度器类型:线性
- 训练轮数:8
- 混合精度训练:Native AMP
训练结果
训练损失 |
轮数 |
步数 |
验证损失 |
准确率 |
3.895 |
0.23 |
100 |
3.8276 |
0.1935 |
3.1174 |
0.47 |
200 |
3.1217 |
0.3107 |
2.6 |
0.7 |
300 |
2.5399 |
0.4207 |
2.256 |
0.93 |
400 |
2.1767 |
0.5160 |
1.5441 |
1.16 |
500 |
1.8086 |
0.5852 |
1.3834 |
1.4 |
600 |
1.5565 |
0.6325 |
1.1995 |
1.63 |
700 |
1.3339 |
0.6763 |
1.0845 |
1.86 |
800 |
1.3299 |
0.6533 |
0.6472 |
2.09 |
900 |
1.0679 |
0.7219 |
0.5948 |
2.33 |
1000 |
1.0286 |
0.7124 |
0.5565 |
2.56 |
1100 |
0.9595 |
0.7284 |
0.4879 |
2.79 |
1200 |
0.8915 |
0.7420 |
0.2816 |
3.02 |
1300 |
0.8159 |
0.7763 |
0.2412 |
3.26 |
1400 |
0.7766 |
0.7911 |
0.2015 |
3.49 |
1500 |
0.7850 |
0.7828 |
0.274 |
3.72 |
1600 |
0.7361 |
0.7935 |
0.1244 |
3.95 |
1700 |
0.7299 |
0.7911 |
0.0794 |
4.19 |
1800 |
0.7441 |
0.7846 |
0.0915 |
4.42 |
1900 |
0.7614 |
0.7941 |
0.0817 |
4.65 |
2000 |
0.7310 |
0.8012 |
0.0561 |
4.88 |
2100 |
0.7222 |
0.8065 |
0.0165 |
5.12 |
2200 |
0.7515 |
0.8059 |
0.0168 |
5.35 |
2300 |
0.6687 |
0.8213 |
0.0212 |
5.58 |
2400 |
0.6671 |
0.8249 |
0.0389 |
5.81 |
2500 |
0.6893 |
0.8278 |
0.0087 |
6.05 |
2600 |
0.6839 |
0.8260 |
0.0087 |
6.28 |
2700 |
0.6412 |
0.8320 |
0.0077 |
6.51 |
2800 |
0.6366 |
0.8367 |
0.0065 |
6.74 |
2900 |
0.6697 |
0.8272 |
0.0061 |
6.98 |
3000 |
0.6510 |
0.8349 |
0.0185 |
7.21 |
3100 |
0.6452 |
0.8367 |
0.0059 |
7.44 |
3200 |
0.6426 |
0.8379 |
0.0062 |
7.67 |
3300 |
0.6398 |
0.8379 |
0.0315 |
7.91 |
3400 |
0.6397 |
0.8385 |
框架版本
- Transformers 4.20.1
- Pytorch 1.12.0+cu113
- Datasets 2.3.2
- Tokenizers 0.12.1
📄 许可证
本模型采用 Apache-2.0 许可证。