Roberta Large Ner English

🚀 roberta-large-ner-english：基于roberta-large微调的英文命名实体识别模型

[roberta-large-ner-english] 是一个英文命名实体识别（NER）模型，它基于 roberta-large 在 conll2003 数据集上进行了微调。该模型在电子邮件和聊天数据上进行了验证，尤其在这类数据上的表现优于其他模型。特别是，该模型在处理不以大写字母开头的实体时效果更佳。

✨ 主要特性

• 基于 roberta-large 微调，在 conll2003 数据集上训练。
• 在电子邮件和聊天数据等验证集上表现出色。
• 对不以大写字母开头的实体识别效果更好。

📦 安装指南

本文未提及安装步骤，若需使用该模型，可参考 Hugging Face 相关文档进行安装。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForTokenClassification

tokenizer = AutoTokenizer.from_pretrained("Jean-Baptiste/roberta-large-ner-english")
model = AutoModelForTokenClassification.from_pretrained("Jean-Baptiste/roberta-large-ner-english")

# 处理文本样本（来自维基百科）
from transformers import pipeline

nlp = pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy="simple")
nlp("Apple was founded in 1976 by Steve Jobs, Steve Wozniak and Ronald Wayne to develop and sell Wozniak's Apple I personal computer")

[{'entity_group': 'ORG',
  'score': 0.99381506,
  'word': ' Apple',
  'start': 0,
  'end': 5},
 {'entity_group': 'PER',
  'score': 0.99970853,
  'word': ' Steve Jobs',
  'start': 29,
  'end': 39},
 {'entity_group': 'PER',
  'score': 0.99981767,
  'word': ' Steve Wozniak',
  'start': 41,
  'end': 54},
 {'entity_group': 'PER',
  'score': 0.99956465,
  'word': ' Ronald Wayne',
  'start': 59,
  'end': 71},
 {'entity_group': 'PER',
  'score': 0.9997918,
  'word': ' Wozniak',
  'start': 92,
  'end': 99},
 {'entity_group': 'MISC',
  'score': 0.99956393,
  'word': ' Apple I',
  'start': 102,
  'end': 109}]

📚 详细文档

训练数据

训练数据的分类如下：

为了简化，移除了原始 conll2003 数据集中的前缀 B- 或 I-。使用原始 conll2003 数据集的训练集和测试集进行训练，使用“验证”数据集进行验证。最终数据集的规模如下：

模型性能

在 conll2003 验证数据集上计算的模型性能（基于词元预测）：

在私有数据集（电子邮件、聊天、非正式讨论）上基于单词预测计算的性能：

相比之下，在相同的私有数据集上，Spacy (en_core_web_trf-3.2.0) 的表现如下：