ja_core_news_sm开源日语处理模型 - 免费部署实现分词、词性标注等功能

Ja Core News Sm

由 spacy 开发

针对CPU优化的日语处理流程，包含分词、词性标注、依存分析、命名实体识别等功能

下载量 60

发布时间 : 3/2/2022

模型简介

spaCy提供的日语小型语言模型，适用于基础的日语文本处理任务，包括分词、词性标注、依存分析和命名实体识别。

CPU优化

专门针对CPU使用进行了优化，适合资源有限的环境

多任务处理

单个模型支持多种NLP任务，包括分词、词性标注、依存分析和命名实体识别

高准确率

在词性标注和依存分析等任务上表现出较高的准确率

日语分词

词性标注

依存分析

命名实体识别

句子分割

形态分析

文本处理

日语文本分析

对日语文本进行分词、词性标注和依存分析

准确率高达96.13%的词性标注和91.95%的无标记依存分数

信息提取

从日语文本中识别命名实体

F值为63.41的实体识别能力

语言学研究

日语语法分析

用于研究日语语法结构和依存关系

ja_core_news_sm是一个针对CPU进行优化的日语处理模型，可用于命名实体识别（NER）、词性标注（POS）等多种自然语言处理任务。

属性	详情
模型类型	`ja_core_news_sm`
版本	`3.7.0`
spaCy版本要求	`>=3.7.0,<3.8.0`
默认管道	`tok2vec`, `morphologizer`, `parser`, `attribute_ruler`, `ner`
组件	`tok2vec`, `morphologizer`, `parser`, `senter`, `attribute_ruler`, `ner`
向量	0 个键，0 个唯一向量（0 维）
训练数据来源	UD Japanese GSD v2.8 (Omura, Mai; Miyao, Yusuke; Kanayama, Hiroshi; Matsuda, Hiroshi; Wakasa, Aya; Yamashita, Kayo; Asahara, Masayuki; Tanaka, Takaaki; Murawaki, Yugo; Matsumoto, Yuji; Mori, Shinsuke; Uematsu, Sumire; McDonald, Ryan; Nivre, Joakim; Zeman, Daniel) UD Japanese GSD v2.8 NER (Megagon Labs Tokyo)
许可证	`CC BY - SA 4.0`
作者	Explosion

查看标签方案（3 个组件共 65 个标签）

组件	标签
`morphologizer`	`POS=NOUN`, `POS=ADP`, `POS=VERB`, `POS=SCONJ`, `POS=AUX`, `POS=PUNCT`, `POS=PART`, `POS=DET`, `POS=NUM`, `POS=ADV`, `POS=PRON`, `POS=ADJ`, `POS=PROPN`, `POS=CCONJ`, `POS=SYM`, `POS=NOUN\|Polarity=Neg`, `POS=AUX\|Polarity=Neg`, `POS=SPACE`, `POS=INTJ`, `POS=SCONJ\|Polarity=Neg`
`parser`	`ROOT`, `acl`, `advcl`, `advmod`, `amod`, `aux`, `case`, `cc`, `ccomp`, `compound`, `cop`, `csubj`, `dep`, `det`, `dislocated`, `fixed`, `mark`, `nmod`, `nsubj`, `nummod`, `obj`, `obl`, `punct`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `MOVEMENT`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PET_NAME`, `PHONE`, `PRODUCT`, `QUANTITY`, `TIME`, `TITLE_AFFIX`, `WORK_OF_ART`