ja_core_news_lgオープンソース日本語処理モデル - 形態素解析、品詞タグ付けなどの機能を無料で実現

Ja Core News Lg

spacyによって開発

spaCyが提供するCPU向けに最適化された日本語処理パイプラインで、形態素解析、品詞タグ付け、依存構文解析、固有表現認識などの機能を備えています。

ダウンロード数 53

リリース時間 : 3/2/2022

モデル概要

これは日本語の自然言語処理モデルで、Universal Dependenciesの日本語コーパスを使って学習され、品詞タグ付け、依存構文解析、固有表現認識などのタスクをサポートします。モデルはCPUでの使用に最適化されており、日本語テキスト分析タスクの処理に適しています。

CPU最適化

モデルはCPUでの使用に特化して最適化されており、GPUがない環境でも実行できます。

総合的なNLP機能

基本的な形態素解析から高度な固有表現認識まで、完全な自然言語処理機能を提供します。

高品質の単語ベクトル

chiVe単語埋め込みモデルに基づく480,443個の300次元の単語ベクトルを含んでいます。

日本語形態素解析

品詞タグ付け

固有表現認識

依存構文解析

語形還元

文分割

テキスト分析

日本語ニュース分析

日本語のニューステキストを分析し、エンティティ、関係、イベントを抽出します。

NERのF値が71.19%に達します。

日本語テキスト前処理

機械学習タスクのために日本語テキストデータを準備します。

品詞タグ付けの正解率が97.42%に達します。

言語学習

日本語文法分析

学習者が日本語の文構造を分析するのを支援します。

依存構文解析のLASスコアが90.90%に達します。

このモデルは、日本語の自然言語処理に特化したspaCyパイプラインです。CPUでの最適化が図られており、多様な自然言語処理タスクに対応しています。

このモデルの詳細は、こちらを参照してください。これは、CPU向けに最適化された日本語パイプラインです。コンポーネントには、tok2vec、morphologizer、parser、senter、ner、attribute_rulerが含まれます。

属性	詳情
モデル名	`ja_core_news_lg`
バージョン	`3.7.0`
spaCy バージョン	`>=3.7.0,<3.8.0`
デフォルトパイプライン	`tok2vec`, `morphologizer`, `parser`, `attribute_ruler`, `ner`
コンポーネント	`tok2vec`, `morphologizer`, `parser`, `senter`, `attribute_ruler`, `ner`
ベクトル	480443 キー, 480443 ユニークベクトル (300次元)
ソース	UD Japanese GSD v2.8 (Omura, Mai; Miyao, Yusuke; Kanayama, Hiroshi; Matsuda, Hiroshi; Wakasa, Aya; Yamashita, Kayo; Asahara, Masayuki; Tanaka, Takaaki; Murawaki, Yugo; Matsumoto, Yuji; Mori, Shinsuke; Uematsu, Sumire; McDonald, Ryan; Nivre, Joakim; Zeman, Daniel) UD Japanese GSD v2.8 NER (Megagon Labs Tokyo) chiVe: Japanese Word Embedding with Sudachi & NWJC (chive-1.1-mc90-500k) (Works Applications)
ライセンス	`CC BY-SA 4.0`
作者	Explosion

ラベルスキームを表示 (3つのコンポーネントに対する65のラベル)

コンポーネント	ラベル
`morphologizer`	`POS=NOUN`, `POS=ADP`, `POS=VERB`, `POS=SCONJ`, `POS=AUX`, `POS=PUNCT`, `POS=PART`, `POS=DET`, `POS=NUM`, `POS=ADV`, `POS=PRON`, `POS=ADJ`, `POS=PROPN`, `POS=CCONJ`, `POS=SYM`, `POS=NOUN\|Polarity=Neg`, `POS=AUX\|Polarity=Neg`, `POS=SPACE`, `POS=INTJ`, `POS=SCONJ\|Polarity=Neg`
`parser`	`ROOT`, `acl`, `advcl`, `advmod`, `amod`, `aux`, `case`, `cc`, `ccomp`, `compound`, `cop`, `csubj`, `dep`, `det`, `dislocated`, `fixed`, `mark`, `nmod`, `nsubj`, `nummod`, `obj`, `obl`, `punct`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `MOVEMENT`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PET_NAME`, `PHONE`, `PRODUCT`, `QUANTITY`, `TIME`, `TITLE_AFFIX`, `WORK_OF_ART`