Ner Multi Fast

🚀 Flairによる4言語NER (英語、ドイツ語、オランダ語、スペイン語)

このモデルは、Flair で提供される、4つのCoNLL - 03言語用の高速な4クラスNERモデルです。フランス語などの関連言語にもある程度対応しています。

F1スコア: 91.51 (CoNLL - 03英語), 85.72 (CoNLL - 03ドイツ語改訂版), 86.22 (CoNLL - 03オランダ語), 85.78 (CoNLL - 03スペイン語)

予測する4つのタグ:

このモデルは、Flair埋め込み とLSTM - CRFに基づいています。

🚀 クイックスタート

このモデルを使用するには、まず Flair をインストールする必要があります。以下のコマンドでインストールできます。

pip install flair

✨ 主な機能

• 4つのCoNLL - 03言語（英語、ドイツ語、オランダ語、スペイン語）に対応した高速なNERモデル。
• 関連言語（フランス語など）にもある程度対応。
• 4種類のタグ（PER、LOC、ORG、MISC）を予測。

💻 使用例

基本的な使用法

from flair.data import Sentence
from flair.models import SequenceTagger

# タガーをロード
tagger = SequenceTagger.load("flair/ner-multi-fast")

# 4つの言語のいずれかで例の文を作成
sentence = Sentence("George Washington ging nach Washington")

# NERタグを予測
tagger.predict(sentence)

# 文を表示
print(sentence)

# 予測されたNERスパンを表示
print('The following NER tags are found:')
# エンティティを反復処理して表示
for entity in sentence.get_spans('ner'):
    print(entity)

このコードは以下の出力を生成します。

Span [1,2]: "George Washington"   [− Labels: PER (0.9977)]
Span [5]: "Washington"   [− Labels: LOC (0.9895)]

つまり、文 "George Washington ging nach Washington" から、エンティティ "George Washington"（人物 とラベル付けされています）と "Washington"（場所 とラベル付けされています）が検出されます。

🔧 技術詳細

モデルのトレーニング

このモデルをトレーニングするために使用されたFlairスクリプトは以下の通りです。

from flair.data import Corpus
from flair.datasets import CONLL_03, CONLL_03_GERMAN, CONLL_03_DUTCH, CONLL_03_SPANISH
from flair.embeddings import WordEmbeddings, StackedEmbeddings, FlairEmbeddings

# 1. 多言語コーパスを取得
corpus: Corpus = MultiCorpus([
    CONLL_03(),         # 英語コーパス
    CONLL_03_GERMAN(),  # ドイツ語コーパス
    CONLL_03_DUTCH(),   # オランダ語コーパス
    CONLL_03_SPANISH(), # スペイン語コーパス
    ])

# 2. 予測するタグを指定
tag_type = 'ner'

# 3. コーパスからタグ辞書を作成
tag_dictionary = corpus.make_tag_dictionary(tag_type=tag_type)

# 4. 使用する各埋め込みを初期化
embedding_types = [

    # GloVe埋め込み
    WordEmbeddings('glove'),

    # FastText埋め込み
    WordEmbeddings('de'),

    # 文脈的文字列埋め込み、順方向
    FlairEmbeddings('multi-forward-fast'),

    # 文脈的文字列埋め込み、逆方向
    FlairEmbeddings('multi-backward-fast'),
]

# 埋め込みスタックはFlairとGloVe埋め込みで構成
embeddings = StackedEmbeddings(embeddings=embedding_types)

# 5. シーケンスタガーを初期化
from flair.models import SequenceTagger

tagger = SequenceTagger(hidden_size=256,
                        embeddings=embeddings,
                        tag_dictionary=tag_dictionary,
                        tag_type=tag_type)

# 6. トレーナーを初期化
from flair.trainers import ModelTrainer

trainer = ModelTrainer(tagger, corpus)

# 7. トレーニングを実行
trainer.train('resources/taggers/ner-multi-fast',
              train_with_dev=True,
              max_epochs=150)

📄 ライセンス

このモデルを使用する際は、以下の論文を引用してください。

@misc{akbik2019multilingual,
  title={Multilingual sequence labeling with one model},
  author={Akbik, Alan and Bergmann, Tanja and Vollgraf, Roland}
  booktitle = {{NLDL} 2019, Northern Lights Deep Learning Workshop},
  year      = {2019}
}

@inproceedings{akbik2018coling,
  title={Contextual String Embeddings for Sequence Labeling},
  author={Akbik, Alan and Blythe, Duncan and Vollgraf, Roland},
  booktitle = {{COLING} 2018, 27th International Conference on Computational Linguistics},
  pages     = {1638--1649},
  year      = {2018}
}