🚀 bertimbau-large-lener_br
bertimbau-large-lener_br 是 neuralmind/bert-large-portuguese-cased 在 lener_br 数据集上微调后的模型,在评估集上有出色的表现。
🚀 快速开始
这个模型是 neuralmind/bert-large-portuguese-cased 在 lener_br 数据集上的微调版本。它在评估集上取得了以下结果:
- 损失率(Loss):0.1271
- 精确率(Precision):0.8965
- 召回率(Recall):0.9198
- F1值:0.9080
- 准确率(Accuracy):0.9801
📚 详细文档
模型描述
需要更多信息。
预期用途和限制
需要更多信息。
训练和评估数据
需要更多信息。
训练过程
训练超参数
训练期间使用了以下超参数:
- 学习率(learning_rate):2e - 05
- 训练批次大小(train_batch_size):4
- 评估批次大小(eval_batch_size):4
- 随机种子(seed):42
- 优化器(optimizer):Adam,其中 betas = (0.9, 0.999),epsilon = 1e - 08
- 学习率调度器类型(lr_scheduler_type):线性
- 训练轮数(num_epochs):15
训练结果
训练损失率 |
轮数 |
步数 |
验证损失率 |
精确率 |
召回率 |
F1值 |
准确率 |
0.0674 |
1.0 |
1957 |
0.1349 |
0.7617 |
0.8710 |
0.8127 |
0.9594 |
0.0443 |
2.0 |
3914 |
0.1867 |
0.6862 |
0.9194 |
0.7858 |
0.9575 |
0.0283 |
3.0 |
5871 |
0.1185 |
0.8206 |
0.8766 |
0.8477 |
0.9678 |
0.0226 |
4.0 |
7828 |
0.1405 |
0.8072 |
0.8978 |
0.8501 |
0.9708 |
0.0141 |
5.0 |
9785 |
0.1898 |
0.7224 |
0.9194 |
0.8090 |
0.9629 |
0.01 |
6.0 |
11742 |
0.1655 |
0.9062 |
0.8856 |
0.8958 |
0.9741 |
0.012 |
7.0 |
13699 |
0.1271 |
0.8965 |
0.9198 |
0.9080 |
0.9801 |
0.0091 |
8.0 |
15656 |
0.1919 |
0.8890 |
0.8886 |
0.8888 |
0.9719 |
0.0042 |
9.0 |
17613 |
0.1725 |
0.8977 |
0.8985 |
0.8981 |
0.9744 |
0.0043 |
10.0 |
19570 |
0.1530 |
0.8878 |
0.9034 |
0.8955 |
0.9761 |
0.0042 |
11.0 |
21527 |
0.1635 |
0.8792 |
0.9108 |
0.8947 |
0.9774 |
0.0033 |
12.0 |
23484 |
0.2009 |
0.8155 |
0.9138 |
0.8619 |
0.9719 |
0.0008 |
13.0 |
25441 |
0.1766 |
0.8737 |
0.9135 |
0.8932 |
0.9755 |
0.0005 |
14.0 |
27398 |
0.1868 |
0.8616 |
0.9129 |
0.8865 |
0.9743 |
0.0014 |
15.0 |
29355 |
0.1910 |
0.8694 |
0.9101 |
0.8893 |
0.9746 |
框架版本
- Transformers:4.8.2
- Pytorch:1.9.0 + cu102
- Datasets:1.9.0
- Tokenizers:0.10.3
📄 许可证
本模型采用 MIT 许可证。
📋 模型信息表
属性 |
详情 |
模型类型 |
基于 neuralmind/bert-large-portuguese-cased 微调的模型 |
训练数据 |
lener_br 数据集 |
评估指标 |
损失率(Loss)、精确率(Precision)、召回率(Recall)、F1值、准确率(Accuracy) |