Ner English Ontonotes Fast

🚀 Flairにおける英語の命名エンティティ認識（Ontonotes高速モデル）

このプロジェクトは、Flair が提供する英語の18種類の命名エンティティ認識（NER）モデルの高速版です。このモデルは Flair埋め込み とLSTM - CRFに基づいて構築され、OntonotesデータセットでのF1スコアは 89.3 です。

✨ 主な機能

• マルチラベル予測：日付、人物、組織などの一般的なエンティティタイプを含む18種類の異なるタイプのラベルを予測できます。
• 高速版：一定の精度を維持しながら、より高速に実行できます。
• Flairベース：強力なFlairフレームワークに基づいているため、統合と使用が容易です。

予測される18種類のラベル

📦 インストール

このモデルを使用するには、Flair をインストールする必要があります。以下のコマンドでインストールできます。

pip install flair

💻 使用例

基本的な使用法

from flair.data import Sentence
from flair.models import SequenceTagger

# タガーをロード
tagger = SequenceTagger.load("flair/ner-english-ontonotes-fast")

# サンプル文を作成
sentence = Sentence("On September 1st George Washington won 1 dollar.")

# NERラベルを予測
tagger.predict(sentence)

# 文を印刷
print(sentence)

# 予測されたNERエンティティを印刷
print('The following NER tags are found:')
# エンティティを繰り返し処理して印刷
for entity in sentence.get_spans('ner'):
    print(entity)

上記のコードの出力は次の通りです。

Span [2,3]: "September 1st"   [− Labels: DATE (0.9655)]
Span [4,5]: "George Washington"   [− Labels: PERSON (0.8243)]
Span [7,8]: "1 dollar"   [− Labels: MONEY (0.8022)]

これは、文 “On September 1st George Washington won 1 dollar.” で、“September 1st”（日付）、“George Washington”（人物）、“1 dollar”（通貨）のエンティティが識別されたことを示しています。

🔧 技術詳細

このモデルは Flair埋め込み とLSTM - CRFに基づいて構築されています。以下はこのモデルを学習するためのスクリプトです。

from flair.data import Corpus
from flair.datasets import ColumnCorpus
from flair.embeddings import WordEmbeddings, StackedEmbeddings, FlairEmbeddings

# 1. コーパスをロード（OntonotesはFlairに付属していないため、自分でダウンロードして列形式に再フォーマットする必要があります）
corpus: Corpus = ColumnCorpus(
                "resources/tasks/onto-ner",
                column_format={0: "text", 1: "pos", 2: "upos", 3: "ner"},
                tag_to_bioes="ner",
            )

# 2. 予測するタグのタイプ
tag_type = 'ner'

# 3. コーパスからタグ辞書を作成
tag_dictionary = corpus.make_tag_dictionary(tag_type=tag_type)

# 4. 使用する各埋め込みを初期化
embedding_types = [

    # GloVe埋め込み
    WordEmbeddings('en-crawl'),

    # 文脈文字列埋め込み、前方
    FlairEmbeddings('news-forward-fast'),

    # 文脈文字列埋め込み、後方
    FlairEmbeddings('news-backward-fast'),
]

# 埋め込みスタックはFlairとGloVe埋め込みで構成されています
embeddings = StackedEmbeddings(embeddings=embedding_types)

# 5. シーケンスタガーを初期化
from flair.models import SequenceTagger

tagger = SequenceTagger(hidden_size=256,
                        embeddings=embeddings,
                        tag_dictionary=tag_dictionary,
                        tag_type=tag_type)

# 6. トレーナーを初期化
from flair.trainers import ModelTrainer

trainer = ModelTrainer(tagger, corpus)

# 7. 学習を開始
trainer.train('resources/taggers/ner-english-ontonotes-fast',
              train_with_dev=True,
              max_epochs=150)

📄 引用

このモデルを使用する場合は、以下の論文を引用してください。

@inproceedings{akbik2018coling,
  title={Contextual String Embeddings for Sequence Labeling},
  author={Akbik, Alan and Blythe, Duncan and Vollgraf, Roland},
  booktitle = {{COLING} 2018, 27th International Conference on Computational Linguistics},
  pages     = {1638--1649},
  year      = {2018}
}

📞 問題の報告

使用中に問題が発生した場合は、Flairの問題トラッカー で報告できます。