🚀 bertimbau-base-lener_br
该模型是 neuralmind/bert-base-portuguese-cased 在 lener_br 数据集上的微调版本。它在评估集上取得了以下成绩:
- 损失率(Loss):0.2298
- 精确率(Precision):0.8501
- 召回率(Recall):0.9138
- F1值(F1):0.8808
- 准确率(Accuracy):0.9693
🚀 快速开始
本模型是基于 neuralmind/bert-base-portuguese-cased 在 lener_br 数据集上微调得到的。如果你想使用该模型,可以参考后续的训练和评估数据、训练流程等部分的内容。
📚 详细文档
模型描述
更多信息待补充。
预期用途与限制
更多信息待补充。
训练和评估数据
更多信息待补充。
训练流程
训练超参数
训练过程中使用了以下超参数:
- 学习率(learning_rate):2e-05
- 训练批次大小(train_batch_size):4
- 评估批次大小(eval_batch_size):4
- 随机种子(seed):42
- 优化器(optimizer):Adam,其中 betas=(0.9, 0.999),epsilon=1e-08
- 学习率调度器类型(lr_scheduler_type):线性
- 训练轮数(num_epochs):15
训练结果
训练损失率 |
轮数 |
步数 |
验证损失率 |
精确率 |
召回率 |
F1值 |
准确率 |
0.0686 |
1.0 |
1957 |
0.1399 |
0.7759 |
0.8669 |
0.8189 |
0.9641 |
0.0437 |
2.0 |
3914 |
0.1457 |
0.7997 |
0.8938 |
0.8441 |
0.9623 |
0.0313 |
3.0 |
5871 |
0.1675 |
0.8466 |
0.8744 |
0.8603 |
0.9651 |
0.0201 |
4.0 |
7828 |
0.1621 |
0.8713 |
0.8839 |
0.8775 |
0.9718 |
0.0137 |
5.0 |
9785 |
0.1811 |
0.7783 |
0.9159 |
0.8415 |
0.9645 |
0.0105 |
6.0 |
11742 |
0.1836 |
0.8568 |
0.9009 |
0.8783 |
0.9692 |
0.0105 |
7.0 |
13699 |
0.1649 |
0.8339 |
0.9125 |
0.8714 |
0.9725 |
0.0059 |
8.0 |
15656 |
0.2298 |
0.8501 |
0.9138 |
0.8808 |
0.9693 |
0.0051 |
9.0 |
17613 |
0.2210 |
0.8437 |
0.9045 |
0.8731 |
0.9693 |
0.0061 |
10.0 |
19570 |
0.2499 |
0.8627 |
0.8946 |
0.8784 |
0.9681 |
0.0041 |
11.0 |
21527 |
0.1985 |
0.8560 |
0.9052 |
0.8799 |
0.9720 |
0.003 |
12.0 |
23484 |
0.2204 |
0.8498 |
0.9065 |
0.8772 |
0.9699 |
0.0014 |
13.0 |
25441 |
0.2152 |
0.8425 |
0.9067 |
0.8734 |
0.9709 |
0.0005 |
14.0 |
27398 |
0.2317 |
0.8553 |
0.8987 |
0.8765 |
0.9705 |
0.0015 |
15.0 |
29355 |
0.2436 |
0.8543 |
0.8989 |
0.8760 |
0.9700 |
框架版本
- Transformers:4.8.2
- Pytorch:1.9.0+cu102
- Datasets:1.9.0
- Tokenizers:0.10.3
📄 许可证
本模型采用 MIT 许可证。
🔍 其他信息
属性 |
详情 |
模型类型 |
基于 BERTimbau-base 在 lener_br 数据集上微调的模型 |
训练数据 |
lener_br 数据集 |
评估指标 |
损失率(Loss)、精确率(Precision)、召回率(Recall)、F1值(F1)、准确率(Accuracy) |