en_core_web_sm开源英语语言处理模型 - 免费实现分词、词性标注等功能

首页

En Core Web Sm

由 spacy 开发

spaCy提供的针对CPU优化的英语小型语言处理流程，包含分词、词性标注、依存分析、命名实体识别等核心功能

序列标注英语开源协议:MIT #英语文本处理 #命名实体识别 #依存句法分析

下载量 2,707

发布时间 : 3/2/2022

模型简介

这是一个英语自然语言处理模型，主要用于文本的标记化、词性标注、依存句法分析、命名实体识别等基础NLP任务。模型针对CPU使用进行了优化，适合轻量级应用场景。

模型特点

CPU优化

专门针对CPU使用场景进行优化，适合资源有限的环境

多任务处理

单一流程同时处理分词、词性标注、依存分析和命名实体识别

轻量级

小型模型体积，不包含词向量，适合快速部署

高准确率

在OntoNotes 5等标准数据集上达到高准确率

模型能力

文本分词

词性标注

依存句法分析

命名实体识别

句子分割

词形还原

使用案例

文本分析

信息提取

从文本中提取人名、地名、组织机构等实体信息

F1值84.56%

语法分析

分析句子的语法结构和词语依赖关系

依存分析UAS 91.75%

内容处理

文本预处理

为机器学习模型准备文本数据，包括分词、词性标注等

分词准确率99.86%

🚀 en_core_web_sm 英文语言处理模型

en_core_web_sm 是一款针对 CPU 进行优化的英文处理管道模型。它集成了多种组件，如词向量转换、词性标注、句法分析等，能够高效地处理英文文本的各项任务。

🚀 快速开始

你可以通过以下链接查看该模型的详细信息：Details

✨ 主要特性

专为 CPU 优化，在 CPU 上能高效运行。
包含多种组件，可完成词性标注、命名实体识别、句法分析等多项任务。

📚 详细文档

模型信息

属性	详情
模型名称	`en_core_web_sm`
版本	`3.7.1`
spaCy 版本要求	`>=3.7.2,<3.8.0`
默认管道	`tok2vec`, `tagger`, `parser`, `attribute_ruler`, `lemmatizer`, `ner`
组件	`tok2vec`, `tagger`, `parser`, `senter`, `attribute_ruler`, `lemmatizer`, `ner`
词向量	0 个键，0 个唯一向量（0 维）
数据源	OntoNotes 5 (Ralph Weischedel, Martha Palmer, Mitchell Marcus, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, Nianwen Xue, Ann Taylor, Jeff Kaufman, Michelle Franchini, Mohammed El-Bachouti, Robert Belvin, Ann Houston) ClearNLP Constituent-to-Dependency Conversion (Emory University) WordNet 3.0 (Princeton University)
许可证	`MIT`
作者	Explosion

标签方案

查看标签方案（3 个组件共 113 个标签）

组件	标签
`tagger`	`$`, `''`, `,`, `-LRB-`, `-RRB-`, `.`, `:`, `ADD`, `AFX`, `CC`, `CD`, `DT`, `EX`, `FW`, `HYPH`, `IN`, `JJ`, `JJR`, `JJS`, `LS`, `MD`, `NFP`, `NN`, `NNP`, `NNPS`, `NNS`, `PDT`, `POS`, `PRP`, `PRP$`, `RB`, `RBR`, `RBS`, `RP`, `SYM`, `TO`, `UH`, `VB`, `VBD`, `VBG`, `VBN`, `VBP`, `VBZ`, `WDT`, `WP`, `WP$`, `WRB`, `XX`, `_SP`, ````
`parser`	`ROOT`, `acl`, `acomp`, `advcl`, `advmod`, `agent`, `amod`, `appos`, `attr`, `aux`, `auxpass`, `case`, `cc`, `ccomp`, `compound`, `conj`, `csubj`, `csubjpass`, `dative`, `dep`, `det`, `dobj`, `expl`, `intj`, `mark`, `meta`, `neg`, `nmod`, `npadvmod`, `nsubj`, `nsubjpass`, `nummod`, `oprd`, `parataxis`, `pcomp`, `pobj`, `poss`, `preconj`, `predet`, `prep`, `prt`, `punct`, `quantmod`, `relcl`, `xcomp`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PRODUCT`, `QUANTITY`, `TIME`, `WORK_OF_ART`

准确率

类型	分数
`TOKEN_ACC`	99.86
`TOKEN_P`	99.57
`TOKEN_R`	99.58
`TOKEN_F`	99.57
`TAG_ACC`	97.25
`SENTS_P`	92.02
`SENTS_R`	89.21
`SENTS_F`	90.59
`DEP_UAS`	91.75
`DEP_LAS`	89.87
`ENTS_P`	84.55
`ENTS_R`	84.57
`ENTS_F`	84.56