🚀 德语命名实体识别(Flair默认模型)
这是随 Flair 一起发布的标准4类德语命名实体识别(NER)模型。该模型基于 Flair嵌入 和LSTM - CRF,在CoNLL - 03德语修订版数据集上的F1分数达到了 87.94。
✨ 主要特性
- 预测4种标签:
| 标签 | 含义 |
| ---- | ---- |
| PER | 人名 |
| LOC | 地名 |
| ORG | 组织名 |
| MISC | 其他名称 |
📦 安装指南
使用此模型需要安装 Flair,可以通过以下命令进行安装:
pip install flair
💻 使用示例
基础用法
以下是在Flair中使用该模型的示例代码:
from flair.data import Sentence
from flair.models import SequenceTagger
tagger = SequenceTagger.load("flair/ner-german")
sentence = Sentence("George Washington ging nach Washington")
tagger.predict(sentence)
print(sentence)
print('The following NER tags are found:')
for entity in sentence.get_spans('ner'):
print(entity)
运行上述代码会得到以下输出:
Span [1,2]: "George Washington" [− Labels: PER (0.9977)]
Span [5]: "Washington" [− Labels: LOC (0.9895)]
这表明在句子 "George Washington ging nach Washington" 中,识别出了实体 "George Washington"(标记为 人名)和 "Washington"(标记为 地名)。
🔧 技术细节
训练脚本
以下是用于训练该模型的Flair脚本:
from flair.data import Corpus
from flair.datasets import CONLL_03_GERMAN
from flair.embeddings import WordEmbeddings, StackedEmbeddings, FlairEmbeddings
corpus: Corpus = CONLL_03_GERMAN()
tag_type = 'ner'
tag_dictionary = corpus.make_tag_dictionary(tag_type=tag_type)
embedding_types = [
WordEmbeddings('de'),
FlairEmbeddings('de-forward'),
FlairEmbeddings('de-backward'),
]
embeddings = StackedEmbeddings(embeddings=embedding_types)
from flair.models import SequenceTagger
tagger = SequenceTagger(hidden_size=256,
embeddings=embeddings,
tag_dictionary=tag_dictionary,
tag_type=tag_type)
from flair.trainers import ModelTrainer
trainer = ModelTrainer(tagger, corpus)
trainer.train('resources/taggers/ner-german',
train_with_dev=True,
max_epochs=150)
📄 引用说明
使用此模型时,请引用以下论文:
@inproceedings{akbik2018coling,
title={Contextual String Embeddings for Sequence Labeling},
author={Akbik, Alan and Blythe, Duncan and Vollgraf, Roland},
booktitle = {{COLING} 2018, 27th International Conference on Computational Linguistics},
pages = {1638--1649},
year = {2018}
}
📚 问题反馈
如果你在使用过程中遇到问题,可以在 Flair问题跟踪器 中反馈。