🚀 Flair中的英文命名实体识别(Ontonotes快速模型)
本项目是 Flair 自带的英文18类命名实体识别(NER)模型的快速版本。该模型基于 Flair嵌入 和LSTM - CRF构建,在Ontonotes数据集上的F1分数达到了 89.3。
✨ 主要特性
- 多标签预测:能够预测18种不同类型的标签,涵盖了日期、人物、组织等常见实体类型。
- 快速版本:在保证一定准确率的同时,具有更快的运行速度。
- 基于Flair:依托强大的Flair框架,便于集成和使用。
预测的18种标签
标签 |
含义 |
CARDINAL |
基数数值 |
DATE |
日期值 |
EVENT |
事件名称 |
FAC |
建筑物名称 |
GPE |
地缘政治实体 |
LANGUAGE |
语言名称 |
LAW |
法律名称 |
LOC |
地点名称 |
MONEY |
货币名称 |
NORP |
所属关系 |
ORDINAL |
序数数值 |
ORG |
组织名称 |
PERCENT |
百分比数值 |
PERSON |
人物名称 |
PRODUCT |
产品名称 |
QUANTITY |
数量值 |
TIME |
时间值 |
WORK_OF_ART |
艺术作品名称 |
📦 安装指南
使用该模型需要安装 Flair,可以通过以下命令进行安装:
pip install flair
💻 使用示例
基础用法
from flair.data import Sentence
from flair.models import SequenceTagger
tagger = SequenceTagger.load("flair/ner-english-ontonotes-fast")
sentence = Sentence("On September 1st George Washington won 1 dollar.")
tagger.predict(sentence)
print(sentence)
print('The following NER tags are found:')
for entity in sentence.get_spans('ner'):
print(entity)
上述代码的输出如下:
Span [2,3]: "September 1st" [− Labels: DATE (0.9655)]
Span [4,5]: "George Washington" [− Labels: PERSON (0.8243)]
Span [7,8]: "1 dollar" [− Labels: MONEY (0.8022)]
这表明在句子 “On September 1st George Washington won 1 dollar.” 中,识别出了 “September 1st”(日期)、“George Washington”(人物)和 “1 dollar”(货币) 这几个实体。
🔧 技术细节
该模型基于 Flair嵌入 和LSTM - CRF构建。以下是训练该模型的脚本:
from flair.data import Corpus
from flair.datasets import ColumnCorpus
from flair.embeddings import WordEmbeddings, StackedEmbeddings, FlairEmbeddings
corpus: Corpus = ColumnCorpus(
"resources/tasks/onto-ner",
column_format={0: "text", 1: "pos", 2: "upos", 3: "ner"},
tag_to_bioes="ner",
)
tag_type = 'ner'
tag_dictionary = corpus.make_tag_dictionary(tag_type=tag_type)
embedding_types = [
WordEmbeddings('en-crawl'),
FlairEmbeddings('news-forward-fast'),
FlairEmbeddings('news-backward-fast'),
]
embeddings = StackedEmbeddings(embeddings=embedding_types)
from flair.models import SequenceTagger
tagger = SequenceTagger(hidden_size=256,
embeddings=embeddings,
tag_dictionary=tag_dictionary,
tag_type=tag_type)
from flair.trainers import ModelTrainer
trainer = ModelTrainer(tagger, corpus)
trainer.train('resources/taggers/ner-english-ontonotes-fast',
train_with_dev=True,
max_epochs=150)
📄 引用说明
使用该模型时,请引用以下论文:
@inproceedings{akbik2018coling,
title={Contextual String Embeddings for Sequence Labeling},
author={Akbik, Alan and Blythe, Duncan and Vollgraf, Roland},
booktitle = {{COLING} 2018, 27th International Conference on Computational Linguistics},
pages = {1638--1649},
year = {2018}
}
📞 问题反馈
如果你在使用过程中遇到问题,可以在 Flair的问题跟踪器 中反馈。