Roberta Large Ner English

🚀 roberta-large-ner-english: NERタスク用にroberta-largeからファインチューニングされたモデル

[roberta-large-ner-english]は、conll2003データセットでroberta-largeからファインチューニングされた英語の固有表現抽出（NER）モデルです。このモデルは、電子メールやチャットデータで検証され、特にこの種のデータに対して他のモデルを上回る性能を発揮します。特に、大文字で始まらない固有表現に対してより良い性能を示すようです。

🚀 クイックスタート

データセット

• conll2003

ウィジェットサンプル

• テキスト: "My name is jean-baptiste and I live in montreal"
• テキスト: "My name is clara and I live in berkeley, california."
• テキスト: "My name is wolfgang and I live in berlin"

学習と評価の設定

• 設定: conll2003
• タスク: トークン分類
• タスクID: エンティティ抽出
• 分割: 評価分割は検証用データセット
• 列マッピング:
  • トークン: tokens
  • NERタグ: tags

✨ 主な機能

• conll2003データセットでファインチューニングされた英語のNERモデルです。
• 電子メールやチャットデータで他のモデルを上回る性能を発揮します。
• 大文字で始まらない固有表現に対しても良い性能を示します。

📦 インストール

このセクションでは、HuggingFaceを使用してroberta-large-ner-englishをロードする方法を説明します。

モデルとトークナイザーのロード

from transformers import AutoTokenizer, AutoModelForTokenClassification

tokenizer = AutoTokenizer.from_pretrained("Jean-Baptiste/roberta-large-ner-english")
model = AutoModelForTokenClassification.from_pretrained("Jean-Baptiste/roberta-large-ner-english")

テキストサンプルの処理

from transformers import pipeline

nlp = pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy="simple")
nlp("Apple was founded in 1976 by Steve Jobs, Steve Wozniak and Ronald Wayne to develop and sell Wozniak's Apple I personal computer")

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification

tokenizer = AutoTokenizer.from_pretrained("Jean-Baptiste/roberta-large-ner-english")
model = AutoModelForTokenClassification.from_pretrained("Jean-Baptiste/roberta-large-ner-english")

from transformers import pipeline

nlp = pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy="simple")
nlp("Apple was founded in 1976 by Steve Jobs, Steve Wozniak and Ronald Wayne to develop and sell Wozniak's Apple I personal computer")

📚 ドキュメント

学習データ

学習データは以下のように分類されます。

簡略化のため、元のconll2003の接頭辞B-またはI-は削除されています。元のconll2003の学習データセットとテストデータセットを学習に、「検証」データセットを検証に使用しました。これにより、以下のサイズのデータセットが得られました。

モデルの性能

conll2003検証データセットで計算されたモデルの性能（トークン予測に基づく）は以下の通りです。

プライベートデータセット（電子メール、チャット、非公式な議論）で、単語予測に基づいて計算された性能は以下の通りです。

同じプライベートデータセットでの比較として、Spacy（en_core_web_trf-3.2.0）の性能は以下の通りです。

興味のある方のために、このモデルの結果を使用して電子メールの署名検出用のLSTMモデルを学習させた方法に関する短い記事を紹介します。 https://medium.com/@jean-baptiste.polle/lstm-model-for-email-signature-detection-8e990384fefa

📄 ライセンス

このモデルはMITライセンスの下で提供されています。