ja_core_news_lg開源日語處理模型 - 免費實現分詞、詞性標註等功能

首頁

Ja Core News Lg

由spacy開發

spaCy提供的針對CPU優化的日語處理流程，包含分詞、詞性標註、依存句法分析、命名實體識別等功能

序列標註日語#日語文本處理 #高精度詞性標註 #依存句法分析

下載量 53

發布時間 : 3/2/2022

模型概述

這是一個日語自然語言處理模型，基於Universal Dependencies日語語料庫訓練，支持詞性標註、依存句法分析、命名實體識別等任務。模型針對CPU使用進行了優化，適合處理日語文本分析任務。

模型特點

CPU優化

模型針對CPU使用進行了專門優化，適合在沒有GPU的環境中運行

全面NLP功能

提供從基礎分詞到高級命名實體識別的完整自然語言處理功能

高質量詞向量

包含480,443個300維的詞向量，基於chiVe詞嵌入模型

模型能力

日語分詞

詞性標註

命名實體識別

依存句法分析

詞形還原

句子分割

使用案例

文本分析

日語新聞分析

分析日語新聞文本，提取實體、關係和事件

NER F值達到71.19%

日語文本預處理

為機器學習任務準備日語文本數據

詞性標註準確率達97.42%

語言學習

日語語法分析

幫助學習者分析日語句子結構

依存句法分析LAS得分90.90

🚀 ja_core_news_lg 日語語言模型

ja_core_news_lg 是一款針對 CPU 進行優化的日語處理管道，它包含多個組件，可用於詞性標註、命名實體識別等多種自然語言處理任務。

📚 詳細文檔

模型詳情

詳情請參考：https://spacy.io/models/ja#ja_core_news_lg

該日語管道針對 CPU 進行了優化，其組件包括：tok2vec、morphologizer、parser、senter、ner、attribute_ruler。

屬性	詳情
模型名稱	`ja_core_news_lg`
版本	`3.7.0`
spaCy 版本要求	`>=3.7.0,<3.8.0`
默認處理流程	`tok2vec`, `morphologizer`, `parser`, `attribute_ruler`, `ner`
組件	`tok2vec`, `morphologizer`, `parser`, `senter`, `attribute_ruler`, `ner`
詞向量	480443 個鍵，480443 個唯一向量（300 維）
數據來源	UD Japanese GSD v2.8 (Omura, Mai; Miyao, Yusuke; Kanayama, Hiroshi; Matsuda, Hiroshi; Wakasa, Aya; Yamashita, Kayo; Asahara, Masayuki; Tanaka, Takaaki; Murawaki, Yugo; Matsumoto, Yuji; Mori, Shinsuke; Uematsu, Sumire; McDonald, Ryan; Nivre, Joakim; Zeman, Daniel) UD Japanese GSD v2.8 NER (Megagon Labs Tokyo) chiVe: Japanese Word Embedding with Sudachi & NWJC (chive-1.1-mc90-500k) (Works Applications)
許可證	`CC BY-SA 4.0`
作者	Explosion

標籤方案

查看標籤方案（3 個組件共 65 個標籤）

組件	標籤
`morphologizer`	`POS=NOUN`, `POS=ADP`, `POS=VERB`, `POS=SCONJ`, `POS=AUX`, `POS=PUNCT`, `POS=PART`, `POS=DET`, `POS=NUM`, `POS=ADV`, `POS=PRON`, `POS=ADJ`, `POS=PROPN`, `POS=CCONJ`, `POS=SYM`, `POS=NOUN\|Polarity=Neg`, `POS=AUX\|Polarity=Neg`, `POS=SPACE`, `POS=INTJ`, `POS=SCONJ\|Polarity=Neg`
`parser`	`ROOT`, `acl`, `advcl`, `advmod`, `amod`, `aux`, `case`, `cc`, `ccomp`, `compound`, `cop`, `csubj`, `dep`, `det`, `dislocated`, `fixed`, `mark`, `nmod`, `nsubj`, `nummod`, `obj`, `obl`, `punct`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `MOVEMENT`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PET_NAME`, `PHONE`, `PRODUCT`, `QUANTITY`, `TIME`, `TITLE_AFFIX`, `WORK_OF_ART`

準確率

類型	得分
`TOKEN_ACC`	99.37
`TOKEN_P`	97.64
`TOKEN_R`	97.88
`TOKEN_F`	97.76
`POS_ACC`	97.42
`MORPH_ACC`	0.00
`MORPH_MICRO_P`	34.01
`MORPH_MICRO_R`	98.04
`MORPH_MICRO_F`	50.51
`SENTS_P`	95.56
`SENTS_R`	97.63
`SENTS_F`	96.59
`DEP_UAS`	92.12
`DEP_LAS`	90.90
`TAG_ACC`	97.13
`LEMMA_ACC`	96.70
`ENTS_P`	73.88
`ENTS_R`	68.68
`ENTS_F`	71.19

模型評估結果

任務	指標	值
NER	NER 精確率	0.7388362652
	NER 召回率	0.6867924528
	NER F 分數	0.7118644068
TAG	TAG (XPOS) 準確率	0.9713282143
POS	POS (UPOS) 準確率	0.9742268041
MORPH	Morph (UFeats) 準確率	0.0
LEMMA	詞形還原準確率	0.9670499959
UNLABELED_DEPENDENCIES	無標籤依存關係得分 (UAS)	0.9212481426
LABELED_DEPENDENCIES	有標籤依存關係得分 (LAS)	0.9089518668
SENTS	句子 F 分數	0.9658536585