zh_core_web_sm开源中文处理模型 - 免费部署实现分词、词性标注等功能

首页

Zh Core Web Sm

由 spacy 开发

针对CPU优化的中文处理流程，包含分词、词性标注、依存分析、命名实体识别等功能

序列标注中文开源协议:MIT #中文NLP处理 #OntoNotes标注 #依存句法分析

下载量 144

发布时间 : 3/2/2022

模型简介

spaCy提供的中文小型语言模型，适用于基础的自然语言处理任务，包括词性标注、依存分析、命名实体识别等。

模型特点

CPU优化

专门针对CPU环境优化，适合资源受限的场景

多任务处理

单一模型支持多种NLP任务，包括分词、词性标注、依存分析等

轻量级

小型模型设计，适合快速部署和实时处理

模型能力

中文分词

词性标注

依存分析

命名实体识别

句子分割

使用案例

文本分析

新闻内容分析

从新闻文本中提取实体、分析句子结构

识别人物、地点、组织等实体，准确率约72%

社交媒体监控

分析社交媒体文本的语法结构和实体

可用于情感分析和话题追踪

语言学习

中文语法分析

帮助学习者理解中文句子结构和词性

词性标注准确率约89.33%

🚀 中文语言模型 `zh_core_web_sm`

zh_core_web_sm 是一个针对 CPU 进行优化的中文处理管道，可用于词性标注、命名实体识别等多种自然语言处理任务，为中文文本处理提供高效解决方案。

📚 详细文档

详情请见：https://spacy.io/models/zh#zh_core_web_sm

✨ 主要特性

该模型的主要特性如下：

属性	详情
模型名称	`zh_core_web_sm`
版本	`3.7.0`
spaCy 版本要求	`>=3.7.0,<3.8.0`
默认处理流程	`tok2vec`, `tagger`, `parser`, `attribute_ruler`, `ner`
组件	`tok2vec`, `tagger`, `parser`, `senter`, `attribute_ruler`, `ner`
词向量	0 个键，0 个唯一向量（0 维）
训练数据来源	OntoNotes 5 (Ralph Weischedel, Martha Palmer, Mitchell Marcus, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, Nianwen Xue, Ann Taylor, Jeff Kaufman, Michelle Franchini, Mohammed El - Bachouti, Robert Belvin, Ann Houston) CoreNLP Universal Dependencies Converter (Stanford NLP Group)
许可证	`MIT`
作者	Explosion

📊 评估指标

各任务评估指标

任务	指标	值
NER	NER Precision	0.7203462148
NER	NER Recall	0.6493406593
NER	NER F Score	0.6830029475
TAG	TAG (XPOS) Accuracy	0.8933253054
UNLABELED_DEPENDENCIES	Unlabeled Attachment Score (UAS)	0.6960047338
LABELED_DEPENDENCIES	Labeled Attachment Score (LAS)	0.640776699
SENTS	Sentences F - Score	0.7514211886

综合准确率指标

类型	得分
`TOKEN_ACC`	95.85
`TOKEN_P`	94.58
`TOKEN_R`	91.36
`TOKEN_F`	92.94
`TAG_ACC`	89.33
`SENTS_P`	77.85
`SENTS_R`	72.62
`SENTS_F`	75.14
`DEP_UAS`	69.60
`DEP_LAS`	64.08
`ENTS_P`	72.03
`ENTS_R`	64.93
`ENTS_F`	68.30

📄 标签体系

查看标签体系（3 个组件共 100 个标签）

组件	标签
`tagger`	`AD`, `AS`, `BA`, `CC`, `CD`, `CS`, `DEC`, `DEG`, `DER`, `DEV`, `DT`, `ETC`, `FW`, `IJ`, `INF`, `JJ`, `LB`, `LC`, `M`, `MSP`, `NN`, `NR`, `NT`, `OD`, `ON`, `P`, `PN`, `PU`, `SB`, `SP`, `URL`, `VA`, `VC`, `VE`, `VV`, `X`, `_SP`
`parser`	`ROOT`, `acl`, `advcl:loc`, `advmod`, `advmod:dvp`, `advmod:loc`, `advmod:rcomp`, `amod`, `amod:ordmod`, `appos`, `aux:asp`, `aux:ba`, `aux:modal`, `aux:prtmod`, `auxpass`, `case`, `cc`, `ccomp`, `compound:nn`, `compound:vc`, `conj`, `cop`, `dep`, `det`, `discourse`, `dobj`, `etc`, `mark`, `mark:clf`, `name`, `neg`, `nmod`, `nmod:assmod`, `nmod:poss`, `nmod:prep`, `nmod:range`, `nmod:tmod`, `nmod:topic`, `nsubj`, `nsubj:xsubj`, `nsubjpass`, `nummod`, `parataxis:prnmod`, `punct`, `xcomp`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PRODUCT`, `QUANTITY`, `TIME`, `WORK_OF_ART`