Distilroberta Base Ner Wikiann Conll2003 4 Class

🚀 distilroberta-base-ner-wikiann-conll2003-4-class

本模型是 distilroberta-base 在wikiann和conll2003數據集上的微調版本。它包含conll2003數據集中的以下類別： O (0), B-PER (1), I-PER (2), B-ORG (3), I-ORG (4) B-LOC (5), I-LOC (6) B-MISC (7), I-MISC (8)。

評估集F1分數：95.39（合併數據集）
測試集F1分數：90.75（合併數據集）

🚀 快速開始

模型信息

模型使用

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("philschmid/distilroberta-base-ner-wikiann-conll2003-4-class")
model = AutoModelForTokenClassification.from_pretrained("philschmid/distilroberta-base-ner-wikiann-conll2003-4-class")

nlp = pipeline("ner", model=model, tokenizer=tokenizer, grouped_entities=True)
example = "My name is Philipp and live in Germany"

nlp(example)

訓練過程

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：4.9086903597787154e-05
• 訓練批次大小：32
• 評估批次大小：16
• 隨機種子：42
• 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 學習率調度器類型：線性
• 訓練輪數：5.0
• 混合精度訓練：原生自動混合精度（Native AMP）

訓練結果

該模型在評估集上取得了以下結果：

• 損失：0.0705
• 精確率：0.9492
• 召回率：0.9585
• F1分數：0.9539
• 準確率：0.9882

該模型在測試集上取得了以下結果：

• 損失：0.239
• 精確率：0.8984
• 召回率：0.9168
• F1分數：0.9075
• 準確率：0.9741

框架版本

• Transformers 4.6.1
• Pytorch 1.8.1+cu101
• Datasets 1.6.2
• Tokenizers 0.10.2

📄 許可證

本模型使用Apache 2.0許可證。