Roberta Large Ner English

🚀 roberta-large-ner-english: NERタスク向けにroberta-largeをファインチューニングしたモデル

[roberta-large-ner-english]は、conll2003データセット上でroberta-largeをファインチューニングした英語の固有表現認識（NER）モデルです。このモデルは、電子メールやチャットデータで検証され、特にこの種のデータに対して他のモデルを上回る性能を発揮します。特に、大文字で始まらないエンティティに対しても良好に機能するようです。

📚 詳細ドキュメント

トレーニングデータ

トレーニングデータは以下のように分類されます。

トレーニングデータの分類は次の通りです。

簡略化のため、元のconll2003の接頭辞B-またはI-は削除されました。元のconll2003のトレーニングデータとテストデータをトレーニングに、「検証」データセットを検証に使用しました。これにより、次のサイズのデータセットが得られました。

HuggingFaceでの使用方法

camembert-nerとそのサブワードトークナイザーをロードする

from transformers import AutoTokenizer, AutoModelForTokenClassification

tokenizer = AutoTokenizer.from_pretrained("Jean-Baptiste/roberta-large-ner-english")
model = AutoModelForTokenClassification.from_pretrained("Jean-Baptiste/roberta-large-ner-english")

テキストサンプル（ウィキペディアから）を処理する

from transformers import pipeline

nlp = pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy="simple")
nlp("Apple was founded in 1976 by Steve Jobs, Steve Wozniak and Ronald Wayne to develop and sell Wozniak's Apple I personal computer")

[{'entity_group': 'ORG',
  'score': 0.99381506,
  'word': ' Apple',
  'start': 0,
  'end': 5},
 {'entity_group': 'PER',
  'score': 0.99970853,
  'word': ' Steve Jobs',
  'start': 29,
  'end': 39},
 {'entity_group': 'PER',
  'score': 0.99981767,
  'word': ' Steve Wozniak',
  'start': 41,
  'end': 54},
 {'entity_group': 'PER',
  'score': 0.99956465,
  'word': ' Ronald Wayne',
  'start': 59,
  'end': 71},
 {'entity_group': 'PER',
  'score': 0.9997918,
  'word': ' Wozniak',
  'start': 92,
  'end': 99},
 {'entity_group': 'MISC',
  'score': 0.99956393,
  'word': ' Apple I',
  'start': 102,
  'end': 109}]

モデルの性能

conll2003検証データセットで計算されたモデルの性能（トークン予測に基づく）は以下の通りです。

プライベートデータセット（電子メール、チャット、非公式な議論）での単語予測に基づく性能は以下の通りです。

比較のため、同じプライベートデータセットでSpacy（en_core_web_trf - 3.2.0）の性能は以下の通りです。