zh_core_web_sm開源中文處理模型 - 免費部署實現分詞、詞性標註等功能

首頁

Zh Core Web Sm

由spacy開發

針對CPU優化的中文處理流程，包含分詞、詞性標註、依存分析、命名實體識別等功能

序列標註中文開源協議:MIT #中文NLP處理 #OntoNotes標註 #依存句法分析

下載量 144

發布時間 : 3/2/2022

模型概述

spaCy提供的中文小型語言模型，適用於基礎的自然語言處理任務，包括詞性標註、依存分析、命名實體識別等。

模型特點

CPU優化

專門針對CPU環境優化，適合資源受限的場景

多任務處理

單一模型支持多種NLP任務，包括分詞、詞性標註、依存分析等

輕量級

小型模型設計，適合快速部署和即時處理

模型能力

中文分詞

詞性標註

依存分析

命名實體識別

句子分割

使用案例

文本分析

新聞內容分析

從新聞文本中提取實體、分析句子結構

識別人物、地點、組織等實體，準確率約72%

社交媒體監控

分析社交媒體文本的語法結構和實體

可用於情感分析和話題追蹤

語言學習

中文語法分析

幫助學習者理解中文句子結構和詞性

詞性標註準確率約89.33%

🚀 中文語言模型 `zh_core_web_sm`

zh_core_web_sm 是一個針對 CPU 進行優化的中文處理管道，可用於詞性標註、命名實體識別等多種自然語言處理任務，為中文文本處理提供高效解決方案。

📚 詳細文檔

詳情請見：https://spacy.io/models/zh#zh_core_web_sm

✨ 主要特性

該模型的主要特性如下：

屬性	詳情
模型名稱	`zh_core_web_sm`
版本	`3.7.0`
spaCy 版本要求	`>=3.7.0,<3.8.0`
默認處理流程	`tok2vec`, `tagger`, `parser`, `attribute_ruler`, `ner`
組件	`tok2vec`, `tagger`, `parser`, `senter`, `attribute_ruler`, `ner`
詞向量	0 個鍵，0 個唯一向量（0 維）
訓練數據來源	OntoNotes 5 (Ralph Weischedel, Martha Palmer, Mitchell Marcus, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, Nianwen Xue, Ann Taylor, Jeff Kaufman, Michelle Franchini, Mohammed El - Bachouti, Robert Belvin, Ann Houston) CoreNLP Universal Dependencies Converter (Stanford NLP Group)
許可證	`MIT`
作者	Explosion

📊 評估指標

各任務評估指標

任務	指標	值
NER	NER Precision	0.7203462148
NER	NER Recall	0.6493406593
NER	NER F Score	0.6830029475
TAG	TAG (XPOS) Accuracy	0.8933253054
UNLABELED_DEPENDENCIES	Unlabeled Attachment Score (UAS)	0.6960047338
LABELED_DEPENDENCIES	Labeled Attachment Score (LAS)	0.640776699
SENTS	Sentences F - Score	0.7514211886

綜合準確率指標

類型	得分
`TOKEN_ACC`	95.85
`TOKEN_P`	94.58
`TOKEN_R`	91.36
`TOKEN_F`	92.94
`TAG_ACC`	89.33
`SENTS_P`	77.85
`SENTS_R`	72.62
`SENTS_F`	75.14
`DEP_UAS`	69.60
`DEP_LAS`	64.08
`ENTS_P`	72.03
`ENTS_R`	64.93
`ENTS_F`	68.30

📄 標籤體系

查看標籤體系（3 個組件共 100 個標籤）

組件	標籤
`tagger`	`AD`, `AS`, `BA`, `CC`, `CD`, `CS`, `DEC`, `DEG`, `DER`, `DEV`, `DT`, `ETC`, `FW`, `IJ`, `INF`, `JJ`, `LB`, `LC`, `M`, `MSP`, `NN`, `NR`, `NT`, `OD`, `ON`, `P`, `PN`, `PU`, `SB`, `SP`, `URL`, `VA`, `VC`, `VE`, `VV`, `X`, `_SP`
`parser`	`ROOT`, `acl`, `advcl:loc`, `advmod`, `advmod:dvp`, `advmod:loc`, `advmod:rcomp`, `amod`, `amod:ordmod`, `appos`, `aux:asp`, `aux:ba`, `aux:modal`, `aux:prtmod`, `auxpass`, `case`, `cc`, `ccomp`, `compound:nn`, `compound:vc`, `conj`, `cop`, `dep`, `det`, `discourse`, `dobj`, `etc`, `mark`, `mark:clf`, `name`, `neg`, `nmod`, `nmod:assmod`, `nmod:poss`, `nmod:prep`, `nmod:range`, `nmod:tmod`, `nmod:topic`, `nsubj`, `nsubj:xsubj`, `nsubjpass`, `nummod`, `parataxis:prnmod`, `punct`, `xcomp`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PRODUCT`, `QUANTITY`, `TIME`, `WORK_OF_ART`