ja_core_news_smオープンソース日本語処理モデル - 無料でデプロイして形態素解析、品詞タグ付けなどの機能を実現

Ja Core News Sm

spacyによって開発

CPU向けに最適化された日本語処理パイプライン。分かち書き、品詞タグ付け、依存関係解析、固有表現認識などの機能を含む

ダウンロード数 60

リリース時間 : 3/2/2022

モデル概要

spaCyが提供する日本語小型言語モデル。基本的な日本語テキスト処理タスク（分かち書き、品詞タグ付け、依存関係解析、固有表現認識）に適しています。

CPU最適化

CPU使用に特化して最適化されており、リソースが限られた環境に適しています

マルチタスク処理

単一モデルで複数のNLPタスク（分かち書き、品詞タグ付け、依存関係解析、固有表現認識）をサポート

高精度

品詞タグ付けや依存関係解析などのタスクで高い精度を発揮

日本語分かち書き

品詞タグ付け

依存関係解析

固有表現認識

文分割

形態素解析

テキスト処理

日本語テキスト分析

日本語テキストの分かち書き、品詞タグ付け、依存関係解析を実施

品詞タグ付け精度96.13%、無ラベル依存関係スコア91.95%を達成

情報抽出

日本語テキストから固有表現を識別

F値63.41の固有表現認識能力

言語学研究

日本語文法分析

日本語の文法構造と依存関係を研究するために使用

このモデルは、CPU向けに最適化された日本語のパイプラインです。tok2vec、morphologizer、parser、senter、ner、attribute_ruler などのコンポーネントを備えています。

詳細情報については、こちらを参照してください。

属性	详情
モデル名	`ja_core_news_sm`
バージョン	`3.7.0`
spaCyバージョン	`>=3.7.0,<3.8.0`
デフォルトパイプライン	`tok2vec`, `morphologizer`, `parser`, `attribute_ruler`, `ner`
コンポーネント	`tok2vec`, `morphologizer`, `parser`, `senter`, `attribute_ruler`, `ner`
ベクトル	0 キー, 0 ユニークベクトル (0 次元)
ソース	UD Japanese GSD v2.8 (Omura, Mai; Miyao, Yusuke; Kanayama, Hiroshi; Matsuda, Hiroshi; Wakasa, Aya; Yamashita, Kayo; Asahara, Masayuki; Tanaka, Takaaki; Murawaki, Yugo; Matsumoto, Yuji; Mori, Shinsuke; Uematsu, Sumire; McDonald, Ryan; Nivre, Joakim; Zeman, Daniel) UD Japanese GSD v2.8 NER (Megagon Labs Tokyo)
ライセンス	`CC BY-SA 4.0`
作者	Explosion

ラベルスキームを表示 (3つのコンポーネントに対する65のラベル)

コンポーネント	ラベル
`morphologizer`	`POS=NOUN`, `POS=ADP`, `POS=VERB`, `POS=SCONJ`, `POS=AUX`, `POS=PUNCT`, `POS=PART`, `POS=DET`, `POS=NUM`, `POS=ADV`, `POS=PRON`, `POS=ADJ`, `POS=PROPN`, `POS=CCONJ`, `POS=SYM`, `POS=NOUN\|Polarity=Neg`, `POS=AUX\|Polarity=Neg`, `POS=SPACE`, `POS=INTJ`, `POS=SCONJ\|Polarity=Neg`
`parser`	`ROOT`, `acl`, `advcl`, `advmod`, `amod`, `aux`, `case`, `cc`, `ccomp`, `compound`, `cop`, `csubj`, `dep`, `det`, `dislocated`, `fixed`, `mark`, `nmod`, `nsubj`, `nummod`, `obj`, `obl`, `punct`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `MOVEMENT`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PET_NAME`, `PHONE`, `PRODUCT`, `QUANTITY`, `TIME`, `TITLE_AFFIX`, `WORK_OF_ART`