en_core_web_sm開源英語語言處理模型 - 免費實現分詞、詞性標註等功能

首頁

En Core Web Sm

由spacy開發

spaCy提供的針對CPU優化的英語小型語言處理流程，包含分詞、詞性標註、依存分析、命名實體識別等核心功能

序列標註英語開源協議:MIT #英語文本處理 #命名實體識別 #依存句法分析

下載量 2,707

發布時間 : 3/2/2022

模型概述

這是一個英語自然語言處理模型，主要用於文本的標記化、詞性標註、依存句法分析、命名實體識別等基礎NLP任務。模型針對CPU使用進行了優化，適合輕量級應用場景。

模型特點

CPU優化

專門針對CPU使用場景進行優化，適合資源有限的環境

多任務處理

單一流程同時處理分詞、詞性標註、依存分析和命名實體識別

輕量級

小型模型體積，不包含詞向量，適合快速部署

高準確率

在OntoNotes 5等標準數據集上達到高準確率

模型能力

文本分詞

詞性標註

依存句法分析

命名實體識別

句子分割

詞形還原

使用案例

文本分析

信息提取

從文本中提取人名、地名、組織機構等實體信息

F1值84.56%

語法分析

分析句子的語法結構和詞語依賴關係

依存分析UAS 91.75%

內容處理

文本預處理

為機器學習模型準備文本數據，包括分詞、詞性標註等

分詞準確率99.86%

🚀 en_core_web_sm 英文語言處理模型

en_core_web_sm 是一款針對 CPU 進行優化的英文處理管道模型。它集成了多種組件，如詞向量轉換、詞性標註、句法分析等，能夠高效地處理英文文本的各項任務。

🚀 快速開始

你可以通過以下鏈接查看該模型的詳細信息：Details

✨ 主要特性

專為 CPU 優化，在 CPU 上能高效運行。
包含多種組件，可完成詞性標註、命名實體識別、句法分析等多項任務。

📚 詳細文檔

模型信息

屬性	詳情
模型名稱	`en_core_web_sm`
版本	`3.7.1`
spaCy 版本要求	`>=3.7.2,<3.8.0`
默認管道	`tok2vec`, `tagger`, `parser`, `attribute_ruler`, `lemmatizer`, `ner`
組件	`tok2vec`, `tagger`, `parser`, `senter`, `attribute_ruler`, `lemmatizer`, `ner`
詞向量	0 個鍵，0 個唯一向量（0 維）
數據源	OntoNotes 5 (Ralph Weischedel, Martha Palmer, Mitchell Marcus, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, Nianwen Xue, Ann Taylor, Jeff Kaufman, Michelle Franchini, Mohammed El-Bachouti, Robert Belvin, Ann Houston) ClearNLP Constituent-to-Dependency Conversion (Emory University) WordNet 3.0 (Princeton University)
許可證	`MIT`
作者	Explosion

標籤方案

查看標籤方案（3 個組件共 113 個標籤）

組件	標籤
`tagger`	`$`, `''`, `,`, `-LRB-`, `-RRB-`, `.`, `:`, `ADD`, `AFX`, `CC`, `CD`, `DT`, `EX`, `FW`, `HYPH`, `IN`, `JJ`, `JJR`, `JJS`, `LS`, `MD`, `NFP`, `NN`, `NNP`, `NNPS`, `NNS`, `PDT`, `POS`, `PRP`, `PRP$`, `RB`, `RBR`, `RBS`, `RP`, `SYM`, `TO`, `UH`, `VB`, `VBD`, `VBG`, `VBN`, `VBP`, `VBZ`, `WDT`, `WP`, `WP$`, `WRB`, `XX`, `_SP`, ````
`parser`	`ROOT`, `acl`, `acomp`, `advcl`, `advmod`, `agent`, `amod`, `appos`, `attr`, `aux`, `auxpass`, `case`, `cc`, `ccomp`, `compound`, `conj`, `csubj`, `csubjpass`, `dative`, `dep`, `det`, `dobj`, `expl`, `intj`, `mark`, `meta`, `neg`, `nmod`, `npadvmod`, `nsubj`, `nsubjpass`, `nummod`, `oprd`, `parataxis`, `pcomp`, `pobj`, `poss`, `preconj`, `predet`, `prep`, `prt`, `punct`, `quantmod`, `relcl`, `xcomp`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PRODUCT`, `QUANTITY`, `TIME`, `WORK_OF_ART`

準確率

類型	分數
`TOKEN_ACC`	99.86
`TOKEN_P`	99.57
`TOKEN_R`	99.58
`TOKEN_F`	99.57
`TAG_ACC`	97.25
`SENTS_P`	92.02
`SENTS_R`	89.21
`SENTS_F`	90.59
`DEP_UAS`	91.75
`DEP_LAS`	89.87
`ENTS_P`	84.55
`ENTS_R`	84.57
`ENTS_F`	84.56