🚀 distilbert - qasports
本模型是基于自然语言处理的问答模型,它在预训练模型基础上进行微调,能够在问答任务中取得较好的评估指标成绩,为问答相关应用提供支持。
🚀 快速开始
此模型是 distilbert - base - uncased - distilled - squad 在 None 数据集上的微调版本。它在评估集上取得了以下结果:
- 损失值:0.4019
- 精确率:76.8699
- F1值:81.3261
- 总数:15041
- Hasans精确率:76.8699
- Hasans F1值:81.3261
- Hasans总数:15041
- 最佳精确率:76.8699
- 最佳精确率阈值:0.0
- 最佳F1值:81.3261
- 最佳F1值阈值:0.0
📚 详细文档
模型描述
待补充更多信息。
预期用途与限制
待补充更多信息。
训练和评估数据
待补充更多信息。
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率:1e - 05
- 训练批次大小:16
- 评估批次大小:16
- 随机种子:42
- 梯度累积步数:2
- 总训练批次大小:32
- 优化器:使用adamw_torch,其中betas = (0.9, 0.999),epsilon = 1e - 08,无额外优化器参数
- 学习率调度器类型:线性
- 训练轮数:50
- 混合精度训练:原生自动混合精度(Native AMP)
训练结果
训练损失 |
轮数 |
步数 |
验证损失 |
精确率 |
F1值 |
总数 |
Hasans精确率 |
Hasans F1值 |
Hasans总数 |
最佳精确率 |
最佳精确率阈值 |
最佳F1值 |
最佳F1值阈值 |
0.6782 |
0.1325 |
500 |
0.6027 |
74.4099 |
79.3976 |
15041 |
74.4099 |
79.3976 |
15041 |
74.4099 |
0.0 |
79.3976 |
0.0 |
0.569 |
0.2649 |
1000 |
0.5509 |
75.1080 |
80.1014 |
15041 |
75.1080 |
80.1014 |
15041 |
75.1080 |
0.0 |
80.1014 |
0.0 |
0.5821 |
0.3974 |
1500 |
0.5195 |
75.5535 |
80.3558 |
15041 |
75.5535 |
80.3558 |
15041 |
75.5535 |
0.0 |
80.3558 |
0.0 |
0.5814 |
0.5298 |
2000 |
0.4890 |
76.3978 |
81.0751 |
15041 |
76.3978 |
81.0751 |
15041 |
76.3978 |
0.0 |
81.0751 |
0.0 |
0.5165 |
0.6623 |
2500 |
0.4729 |
76.2117 |
80.9615 |
15041 |
76.2117 |
80.9615 |
15041 |
76.2117 |
0.0 |
80.9615 |
0.0 |
0.4822 |
0.7947 |
3000 |
0.4559 |
76.4976 |
81.2088 |
15041 |
76.4976 |
81.2088 |
15041 |
76.4976 |
0.0 |
81.2088 |
0.0 |
0.5015 |
0.9272 |
3500 |
0.4343 |
76.5308 |
81.0962 |
15041 |
76.5308 |
81.0962 |
15041 |
76.5308 |
0.0 |
81.0962 |
0.0 |
0.36 |
1.0596 |
4000 |
0.4349 |
76.5308 |
81.0828 |
15041 |
76.5308 |
81.0828 |
15041 |
76.5308 |
0.0 |
81.0828 |
0.0 |
0.4052 |
1.1921 |
4500 |
0.4257 |
76.6704 |
81.1909 |
15041 |
76.6704 |
81.1909 |
15041 |
76.6704 |
0.0 |
81.1909 |
0.0 |
0.36 |
1.3245 |
5000 |
0.4372 |
77.1624 |
81.7279 |
15041 |
77.1624 |
81.7279 |
15041 |
77.1624 |
0.0 |
81.7279 |
0.0 |
0.3597 |
1.4570 |
5500 |
0.4281 |
77.1225 |
81.7018 |
15041 |
77.1225 |
81.7018 |
15041 |
77.1225 |
0.0 |
81.7018 |
0.0 |
0.3739 |
1.5894 |
6000 |
0.4064 |
76.8566 |
81.3582 |
15041 |
76.8566 |
81.3582 |
15041 |
76.8566 |
0.0 |
81.3582 |
0.0 |
0.4176 |
1.7219 |
6500 |
0.4011 |
76.6438 |
81.0437 |
15041 |
76.6438 |
81.0437 |
15041 |
76.6438 |
0.0 |
81.0437 |
0.0 |
0.3924 |
1.8543 |
7000 |
0.3985 |
77.0560 |
81.4585 |
15041 |
77.0560 |
81.4585 |
15041 |
77.0560 |
0.0 |
81.4585 |
0.0 |
0.3453 |
1.9868 |
7500 |
0.4019 |
76.8699 |
81.3261 |
15041 |
76.8699 |
81.3261 |
15041 |
76.8699 |
0.0 |
81.3261 |
0.0 |
框架版本
- Transformers 4.48.3
- Pytorch 2.6.0 + cu124
- Datasets 3.2.0
- Tokenizers 0.21.0
📄 许可证
本项目采用Apache 2.0许可证。