🚀 distilbert-srb-ner
distilbert-srb-ner 是一個在 wikiann 數據集上從頭開始訓練的模型,可用於令牌分類任務,在評估集上表現出較高的準確性。
🚀 快速開始
該模型在 wikiann 數據集上從頭開始訓練,在評估集上取得了以下結果:
- 損失:0.2972
- 精確率:0.8871
- 召回率:0.9100
- F1值:0.8984
- 準確率:0.9577
✨ 主要特性
- 基於特定數據集訓練:在 wikiann 數據集上進行訓練。
- 多指標評估:通過精確率、召回率、F1值和準確率等多個指標進行評估。
🔧 技術細節
訓練超參數
訓練過程中使用了以下超參數:
- 學習率:2e - 05
- 訓練批次大小:32
- 評估批次大小:8
- 隨機種子:42
- 優化器:Adam(β1 = 0.9,β2 = 0.999,ε = 1e - 08)
- 學習率調度器類型:線性
- 訓練輪數:20
訓練結果
訓練損失 |
輪數 |
步數 |
驗證損失 |
精確率 |
召回率 |
F1值 |
準確率 |
0.3818 |
1.0 |
625 |
0.2175 |
0.8175 |
0.8370 |
0.8272 |
0.9306 |
0.198 |
2.0 |
1250 |
0.1766 |
0.8551 |
0.8732 |
0.8640 |
0.9458 |
0.1423 |
3.0 |
1875 |
0.1702 |
0.8597 |
0.8763 |
0.8679 |
0.9473 |
0.079 |
4.0 |
2500 |
0.1774 |
0.8674 |
0.8875 |
0.8773 |
0.9515 |
0.0531 |
5.0 |
3125 |
0.2011 |
0.8688 |
0.8965 |
0.8825 |
0.9522 |
0.0429 |
6.0 |
3750 |
0.2082 |
0.8769 |
0.8970 |
0.8868 |
0.9538 |
0.032 |
7.0 |
4375 |
0.2268 |
0.8764 |
0.8916 |
0.8839 |
0.9528 |
0.0204 |
8.0 |
5000 |
0.2423 |
0.8726 |
0.8959 |
0.8841 |
0.9529 |
0.0148 |
9.0 |
5625 |
0.2522 |
0.8774 |
0.8991 |
0.8881 |
0.9538 |
0.0125 |
10.0 |
6250 |
0.2544 |
0.8823 |
0.9024 |
0.8922 |
0.9559 |
0.0108 |
11.0 |
6875 |
0.2592 |
0.8780 |
0.9041 |
0.8909 |
0.9553 |
0.007 |
12.0 |
7500 |
0.2672 |
0.8877 |
0.9056 |
0.8965 |
0.9571 |
0.0048 |
13.0 |
8125 |
0.2714 |
0.8879 |
0.9089 |
0.8982 |
0.9583 |
0.0049 |
14.0 |
8750 |
0.2872 |
0.8873 |
0.9068 |
0.8970 |
0.9573 |
0.0034 |
15.0 |
9375 |
0.2915 |
0.8883 |
0.9114 |
0.8997 |
0.9577 |
0.0027 |
16.0 |
10000 |
0.2890 |
0.8865 |
0.9103 |
0.8983 |
0.9581 |
0.0028 |
17.0 |
10625 |
0.2885 |
0.8877 |
0.9085 |
0.8980 |
0.9576 |
0.0014 |
18.0 |
11250 |
0.2928 |
0.8860 |
0.9073 |
0.8965 |
0.9577 |
0.0013 |
19.0 |
11875 |
0.2963 |
0.8856 |
0.9099 |
0.8976 |
0.9576 |
0.001 |
20.0 |
12500 |
0.2972 |
0.8871 |
0.9100 |
0.8984 |
0.9577 |
框架版本
- Transformers 4.9.2
- Pytorch 1.9.0
- Datasets 1.11.0
- Tokenizers 0.10.1
📄 信息表格
屬性 |
詳情 |
模型類型 |
distilbert-srb-ner |
訓練數據 |
wikiann |
評估指標 |
精確率、召回率、F1值、準確率 |