zh_core_web_lg開源模型 - 免費部署實現中文分詞、詞性標註等NLP功能

Zh Core Web Lg

由spacy開發

針對CPU優化的中文自然語言處理流程，包含分詞、詞性標註、依存分析、命名實體識別等功能

下載量 61

發布時間 : 3/2/2022

模型概述

這是一個基於spaCy框架的中文處理模型，主要用於中文文本的標記分類任務，包括命名實體識別、詞性標註、依存分析等。模型針對CPU使用進行了優化，適合中文文本處理的各種應用場景。

CPU優化

專門針對CPU使用進行了優化，適合在沒有GPU的環境下運行

全面中文處理

提供完整的中文文本處理流程，包括分詞、詞性標註、依存分析等

高質量向量

包含500000個唯一向量(300維)，提供良好的語義表示能力

多任務處理

同時支持命名實體識別、詞性標註、依存分析等多種NLP任務

中文分詞

詞性標註

命名實體識別

依存分析

句子分割

文本分析

中文文本預處理

對中文文本進行分詞、詞性標註等預處理

準確率90.33%

信息提取

從文本中提取人名、地名、組織機構等命名實體

F值71.34%

語言理解

句法分析

分析中文句子的依存關係

有標記依存正確率65.71%

zh_core_web_lg 是一個針對 CPU 進行優化的中文處理管道，包含了分詞、詞性標註、句法分析、句子分割、命名實體識別等多個組件，能高效處理中文文本。

屬性	詳情
名稱	`zh_core_web_lg`
版本	`3.7.0`
spaCy 版本要求	`>=3.7.0,<3.8.0`
默認處理流程	`tok2vec`, `tagger`, `parser`, `attribute_ruler`, `ner`
組件	`tok2vec`, `tagger`, `parser`, `senter`, `attribute_ruler`, `ner`
詞向量	500000 個鍵，500000 個唯一向量（300 維）
數據來源	OntoNotes 5 (Ralph Weischedel, Martha Palmer, Mitchell Marcus, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, Nianwen Xue, Ann Taylor, Jeff Kaufman, Michelle Franchini, Mohammed El-Bachouti, Robert Belvin, Ann Houston) CoreNLP Universal Dependencies Converter (Stanford NLP Group) Explosion fastText Vectors (cbow, OSCAR Common Crawl + Wikipedia) (Explosion)
許可證	`MIT`
作者	Explosion

查看標籤體系（3 個組件共 100 個標籤）

組件	標籤
`tagger`	`AD`, `AS`, `BA`, `CC`, `CD`, `CS`, `DEC`, `DEG`, `DER`, `DEV`, `DT`, `ETC`, `FW`, `IJ`, `INF`, `JJ`, `LB`, `LC`, `M`, `MSP`, `NN`, `NR`, `NT`, `OD`, `ON`, `P`, `PN`, `PU`, `SB`, `SP`, `URL`, `VA`, `VC`, `VE`, `VV`, `X`, `_SP`
`parser`	`ROOT`, `acl`, `advcl:loc`, `advmod`, `advmod:dvp`, `advmod:loc`, `advmod:rcomp`, `amod`, `amod:ordmod`, `appos`, `aux:asp`, `aux:ba`, `aux:modal`, `aux:prtmod`, `auxpass`, `case`, `cc`, `ccomp`, `compound:nn`, `compound:vc`, `conj`, `cop`, `dep`, `det`, `discourse`, `dobj`, `etc`, `mark`, `mark:clf`, `name`, `neg`, `nmod`, `nmod:assmod`, `nmod:poss`, `nmod:prep`, `nmod:range`, `nmod:tmod`, `nmod:topic`, `nsubj`, `nsubj:xsubj`, `nsubjpass`, `nummod`, `parataxis:prnmod`, `punct`, `xcomp`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PRODUCT`, `QUANTITY`, `TIME`, `WORK_OF_ART`