🚀 bert-base-uncased-yelp_polarity
这个模型是 bert-base-uncased 在 yelp_polarity 数据集上的微调版本。它在评估集上取得了出色的效果,能够高效准确地完成文本分类任务,为相关自然语言处理应用提供了有力支持。
🚀 快速开始
此模型是 bert-base-uncased 在 yelp_polarity 数据集上的微调版本。它在评估集上取得了以下结果:
📚 详细文档
模型信息
属性 |
详情 |
模型类型 |
bert-base-uncased-yelp_polarity |
训练数据 |
yelp_polarity |
评估指标 |
准确率 |
模型索引
- 名称:bert-base-uncased-yelp_polarity
- 结果:
- 任务:
- 数据集:
- 名称:yelp_polarity
- 类型:yelp_polarity
- 参数:纯文本
- 指标:
- 名称:准确率
- 类型:准确率
- 值:0.9516052631578947
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率:5e - 05
- 训练批次大小:1
- 评估批次大小:8
- 随机种子:42
- 优化器:Adam(β1 = 0.9,β2 = 0.999,ε = 1e - 08)
- 学习率调度器类型:线性
- 学习率调度器热身步数:277200
- 训练步数:2772000
训练结果
训练损失 |
轮数 |
步数 |
验证损失 |
准确率 |
0.8067 |
0.0 |
2000 |
0.8241 |
0.4975 |
0.5482 |
0.01 |
4000 |
0.3507 |
0.8591 |
0.3427 |
0.01 |
6000 |
0.3750 |
0.9139 |
0.4133 |
0.01 |
8000 |
0.5520 |
0.9016 |
0.4301 |
0.02 |
10000 |
0.3803 |
0.9304 |
0.3716 |
0.02 |
12000 |
0.4168 |
0.9337 |
0.4076 |
0.03 |
14000 |
0.5042 |
0.9170 |
0.3674 |
0.03 |
16000 |
0.4806 |
0.9268 |
0.3813 |
0.03 |
18000 |
0.4227 |
0.9261 |
0.3723 |
0.04 |
20000 |
0.3360 |
0.9418 |
0.3876 |
0.04 |
22000 |
0.3255 |
0.9407 |
0.3351 |
0.04 |
24000 |
0.3283 |
0.9404 |
0.34 |
0.05 |
26000 |
0.3489 |
0.9430 |
0.3006 |
0.05 |
28000 |
0.3302 |
0.9464 |
0.349 |
0.05 |
30000 |
0.3853 |
0.9375 |
0.3696 |
0.06 |
32000 |
0.2992 |
0.9454 |
0.3301 |
0.06 |
34000 |
0.3484 |
0.9464 |
0.3151 |
0.06 |
36000 |
0.3529 |
0.9455 |
0.3682 |
0.07 |
38000 |
0.3052 |
0.9420 |
0.3184 |
0.07 |
40000 |
0.3323 |
0.9466 |
0.3207 |
0.08 |
42000 |
0.3133 |
0.9532 |
0.3346 |
0.08 |
44000 |
0.3826 |
0.9414 |
0.3008 |
0.08 |
46000 |
0.3059 |
0.9484 |
0.3306 |
0.09 |
48000 |
0.3089 |
0.9475 |
0.342 |
0.09 |
50000 |
0.3611 |
0.9486 |
0.3424 |
0.09 |
52000 |
0.3227 |
0.9445 |
0.3044 |
0.1 |
54000 |
0.3130 |
0.9489 |
0.3278 |
0.1 |
56000 |
0.3827 |
0.9368 |
0.288 |
0.1 |
58000 |
0.3080 |
0.9504 |
0.3342 |
0.11 |
60000 |
0.3252 |
0.9471 |
0.3737 |
0.11 |
62000 |
0.4250 |
0.9343 |
框架版本
- Transformers:4.10.2
- Pytorch:1.7.1
- Datasets:1.6.1
- Tokenizers:0.10.3
📄 许可证
本模型采用 Apache-2.0 许可证。