🚀 bertimbau-large-lener_br
bertimbau-large-lener_br 是 neuralmind/bert-large-portuguese-cased 在 lener_br 數據集上微調後的模型,在評估集上有出色的表現。
🚀 快速開始
這個模型是 neuralmind/bert-large-portuguese-cased 在 lener_br 數據集上的微調版本。它在評估集上取得了以下結果:
- 損失率(Loss):0.1271
- 精確率(Precision):0.8965
- 召回率(Recall):0.9198
- F1值:0.9080
- 準確率(Accuracy):0.9801
📚 詳細文檔
模型描述
需要更多信息。
預期用途和限制
需要更多信息。
訓練和評估數據
需要更多信息。
訓練過程
訓練超參數
訓練期間使用了以下超參數:
- 學習率(learning_rate):2e - 05
- 訓練批次大小(train_batch_size):4
- 評估批次大小(eval_batch_size):4
- 隨機種子(seed):42
- 優化器(optimizer):Adam,其中 betas = (0.9, 0.999),epsilon = 1e - 08
- 學習率調度器類型(lr_scheduler_type):線性
- 訓練輪數(num_epochs):15
訓練結果
訓練損失率 |
輪數 |
步數 |
驗證損失率 |
精確率 |
召回率 |
F1值 |
準確率 |
0.0674 |
1.0 |
1957 |
0.1349 |
0.7617 |
0.8710 |
0.8127 |
0.9594 |
0.0443 |
2.0 |
3914 |
0.1867 |
0.6862 |
0.9194 |
0.7858 |
0.9575 |
0.0283 |
3.0 |
5871 |
0.1185 |
0.8206 |
0.8766 |
0.8477 |
0.9678 |
0.0226 |
4.0 |
7828 |
0.1405 |
0.8072 |
0.8978 |
0.8501 |
0.9708 |
0.0141 |
5.0 |
9785 |
0.1898 |
0.7224 |
0.9194 |
0.8090 |
0.9629 |
0.01 |
6.0 |
11742 |
0.1655 |
0.9062 |
0.8856 |
0.8958 |
0.9741 |
0.012 |
7.0 |
13699 |
0.1271 |
0.8965 |
0.9198 |
0.9080 |
0.9801 |
0.0091 |
8.0 |
15656 |
0.1919 |
0.8890 |
0.8886 |
0.8888 |
0.9719 |
0.0042 |
9.0 |
17613 |
0.1725 |
0.8977 |
0.8985 |
0.8981 |
0.9744 |
0.0043 |
10.0 |
19570 |
0.1530 |
0.8878 |
0.9034 |
0.8955 |
0.9761 |
0.0042 |
11.0 |
21527 |
0.1635 |
0.8792 |
0.9108 |
0.8947 |
0.9774 |
0.0033 |
12.0 |
23484 |
0.2009 |
0.8155 |
0.9138 |
0.8619 |
0.9719 |
0.0008 |
13.0 |
25441 |
0.1766 |
0.8737 |
0.9135 |
0.8932 |
0.9755 |
0.0005 |
14.0 |
27398 |
0.1868 |
0.8616 |
0.9129 |
0.8865 |
0.9743 |
0.0014 |
15.0 |
29355 |
0.1910 |
0.8694 |
0.9101 |
0.8893 |
0.9746 |
框架版本
- Transformers:4.8.2
- Pytorch:1.9.0 + cu102
- Datasets:1.9.0
- Tokenizers:0.10.3
📄 許可證
本模型採用 MIT 許可證。
📋 模型信息表
屬性 |
詳情 |
模型類型 |
基於 neuralmind/bert-large-portuguese-cased 微調的模型 |
訓練數據 |
lener_br 數據集 |
評估指標 |
損失率(Loss)、精確率(Precision)、召回率(Recall)、F1值、準確率(Accuracy) |