ja_core_news_sm開源日語處理模型 - 免費部署實現分詞、詞性標註等功能

Ja Core News Sm

由spacy開發

針對CPU優化的日語處理流程，包含分詞、詞性標註、依存分析、命名實體識別等功能

下載量 60

發布時間 : 3/2/2022

模型概述

spaCy提供的日語小型語言模型，適用於基礎的日語文本處理任務，包括分詞、詞性標註、依存分析和命名實體識別。

CPU優化

專門針對CPU使用進行了優化，適合資源有限的環境

多任務處理

單個模型支持多種NLP任務，包括分詞、詞性標註、依存分析和命名實體識別

高準確率

在詞性標註和依存分析等任務上表現出較高的準確率

日語分詞

詞性標註

依存分析

命名實體識別

句子分割

形態分析

文本處理

日語文本分析

對日語文本進行分詞、詞性標註和依存分析

準確率高達96.13%的詞性標註和91.95%的無標記依存分數

信息提取

從日語文本中識別命名實體

F值為63.41的實體識別能力

語言學研究

日語語法分析

用於研究日語語法結構和依存關係

ja_core_news_sm是一個針對CPU進行優化的日語處理模型，可用於命名實體識別（NER）、詞性標註（POS）等多種自然語言處理任務。

屬性	詳情
模型類型	`ja_core_news_sm`
版本	`3.7.0`
spaCy版本要求	`>=3.7.0,<3.8.0`
默認管道	`tok2vec`, `morphologizer`, `parser`, `attribute_ruler`, `ner`
組件	`tok2vec`, `morphologizer`, `parser`, `senter`, `attribute_ruler`, `ner`
向量	0 個鍵，0 個唯一向量（0 維）
訓練數據來源	UD Japanese GSD v2.8 (Omura, Mai; Miyao, Yusuke; Kanayama, Hiroshi; Matsuda, Hiroshi; Wakasa, Aya; Yamashita, Kayo; Asahara, Masayuki; Tanaka, Takaaki; Murawaki, Yugo; Matsumoto, Yuji; Mori, Shinsuke; Uematsu, Sumire; McDonald, Ryan; Nivre, Joakim; Zeman, Daniel) UD Japanese GSD v2.8 NER (Megagon Labs Tokyo)
許可證	`CC BY - SA 4.0`
作者	Explosion

查看標籤方案（3 個組件共 65 個標籤）

組件	標籤
`morphologizer`	`POS=NOUN`, `POS=ADP`, `POS=VERB`, `POS=SCONJ`, `POS=AUX`, `POS=PUNCT`, `POS=PART`, `POS=DET`, `POS=NUM`, `POS=ADV`, `POS=PRON`, `POS=ADJ`, `POS=PROPN`, `POS=CCONJ`, `POS=SYM`, `POS=NOUN\|Polarity=Neg`, `POS=AUX\|Polarity=Neg`, `POS=SPACE`, `POS=INTJ`, `POS=SCONJ\|Polarity=Neg`
`parser`	`ROOT`, `acl`, `advcl`, `advmod`, `amod`, `aux`, `case`, `cc`, `ccomp`, `compound`, `cop`, `csubj`, `dep`, `det`, `dislocated`, `fixed`, `mark`, `nmod`, `nsubj`, `nummod`, `obj`, `obl`, `punct`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `MOVEMENT`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PET_NAME`, `PHONE`, `PRODUCT`, `QUANTITY`, `TIME`, `TITLE_AFFIX`, `WORK_OF_ART`