Upos English

🚀 Flairの英語汎用品詞タグ付け（デフォルトモデル）

このモデルは Flair に付属の標準的な英語汎用品詞タグ付けモデルです。英語テキストに対して効率的かつ正確に品詞タグ付けを行い、自然言語処理タスクに重要なサポートを提供します。

F1スコア：98.6（Ontonotesデータセットに基づく）

このモデルが予測できる汎用品詞タグは以下の通りです。

このモデルは Flair埋め込み とLSTM - CRFに基づいて構築されています。

🚀 クイックスタート

🔍 モデルの使用例

このモデルの使用には Flair が必要です。以下のコマンドを使用してインストールできます。

pip install flair

以下は、このモデルを使用して品詞タグ付けを行うサンプルコードです。

from flair.data import Sentence
from flair.models import SequenceTagger

# タガーをロード
tagger = SequenceTagger.load("flair/upos-english")

# サンプル文を作成
sentence = Sentence("I love Berlin.")

# 品詞タグを予測
tagger.predict(sentence)

# 文を出力
print(sentence)

# 予測された品詞タグの範囲を出力
print('The following NER tags are found:')
# エンティティをループして出力
for entity in sentence.get_spans('pos'):
    print(entity)

上記のコードを実行すると、以下の出力が得られます。

Span [1]: "I"   [− Labels: PRON (0.9996)]
Span [2]: "love"   [− Labels: VERB (1.0)]
Span [3]: "Berlin"   [− Labels: PROPN (0.9986)]
Span [4]: "."   [− Labels: PUNCT (1.0)]

文 "I love Berlin." では、単語 "I" は 代名詞（PRON）、"love" は 動詞（VERB）、"Berlin" は 固有名詞（PROPN）としてタグ付けされます。

🛠️ モデルのトレーニングスクリプト

以下は、このモデルをトレーニングするためのFlairスクリプトです。

from flair.data import Corpus
from flair.datasets import ColumnCorpus
from flair.embeddings import WordEmbeddings, StackedEmbeddings, FlairEmbeddings

# 1. コーパスをロード（OntonotesはFlairに付属していないため、自分でダウンロードして列形式に再フォーマットする必要があります）
corpus: Corpus = ColumnCorpus(
                "resources/tasks/onto-ner",
                column_format={0: "text", 1: "pos", 2: "upos", 3: "ner"},
                tag_to_bioes="ner",
            )

# 2. 予測するタグのタイプを決定
tag_type = 'upos'

# 3. コーパスからタグ辞書を作成
tag_dictionary = corpus.make_tag_dictionary(tag_type=tag_type)

# 4. 使用する埋め込みを初期化
embedding_types = [

    # 文脈文字列埋め込み、順方向
    FlairEmbeddings('news-forward'),

    # 文脈文字列埋め込み、逆方向
    FlairEmbeddings('news-backward'),
]

# 埋め込みスタックはFlairとGloVeの埋め込みで構成されます
embeddings = StackedEmbeddings(embeddings=embedding_types)

# 5. シーケンスタガーを初期化
from flair.models import SequenceTagger

tagger = SequenceTagger(hidden_size=256,
                        embeddings=embeddings,
                        tag_dictionary=tag_dictionary,
                        tag_type=tag_type)

# 6. トレーナーを初期化
from flair.trainers import ModelTrainer

trainer = ModelTrainer(tagger, corpus)

# 7. トレーニングを実行
trainer.train('resources/taggers/upos-english',
              train_with_dev=True,
              max_epochs=150)

📚 引用情報

このモデルを使用する場合は、以下の論文を引用してください。

@inproceedings{akbik2018coling,
  title={Contextual String Embeddings for Sequence Labeling},
  author={Akbik, Alan and Blythe, Duncan and Vollgraf, Roland},
  booktitle = {{COLING} 2018, 27th International Conference on Computational Linguistics},
  pages     = {1638--1649},
  year      = {2018}
}

❓ 問題のフィードバック

使用中に何か問題が発生した場合は、Flairの問題トラッカー で報告できます。