zh_core_web_smオープンソース中国語処理モデル - 無料でデプロイし、形態素解析、品詞タグ付けなどの機能を実現

ホーム

Zh Core Web Sm

spacyによって開発

CPU向けに最適化された中国語処理パイプライン。分かち書き、品詞タグ付け、依存関係解析、固有表現認識などの機能を含む

シーケンスラベリング中国語オープンソースライセンス:MIT #中国語NLP処理 #OntoNotesアノテーション #依存構文解析

ダウンロード数 144

リリース時間 : 3/2/2022

モデル概要

spaCyが提供する中国語小型言語モデル。基本的な自然言語処理タスク（品詞タグ付け、依存関係解析、固有表現認識など）に適しています。

モデル特徴

CPU最適化

CPU環境向けに特別に最適化されており、リソースが限られたシナリオに適しています

マルチタスク処理

単一モデルで分かち書き、品詞タグ付け、依存関係解析など複数のNLPタスクをサポート

軽量

小型モデル設計で、迅速な展開とリアルタイム処理に適しています

モデル能力

中国語分かち書き

品詞タグ付け

依存関係解析

固有表現認識

文分割

使用事例

テキスト分析

ニュースコンテンツ分析

ニューステキストからエンティティを抽出し、文構造を分析

人物、場所、組織などのエンティティを認識、精度約72%

ソーシャルメディア監視

ソーシャルメディアテキストの構文構造とエンティティを分析

感情分析やトピック追跡に使用可能

言語学習

中国語構文分析

学習者が中国語の文構造と品詞を理解するのを支援

品詞タグ付け精度約89.33%

🚀 zh_core_web_smモデル

このモデルは、CPU向けに最適化された中国語のパイプラインです。様々な自然言語処理タスクに対応しており、高い精度を発揮します。

🚀 クイックスタート

詳細情報はこちらをご覧ください：https://spacy.io/models/zh#zh_core_web_sm

✨ 主な機能

中国語のパイプラインはCPU向けに最適化されています。構成要素には、tok2vec、tagger、parser、senter、ner、attribute_rulerが含まれます。

📚 ドキュメント

モデル情報

特性	説明
名前	`zh_core_web_sm`
バージョン	`3.7.0`
spaCy	`>=3.7.0,<3.8.0`
デフォルトパイプライン	`tok2vec`, `tagger`, `parser`, `attribute_ruler`, `ner`
コンポーネント	`tok2vec`, `tagger`, `parser`, `senter`, `attribute_ruler`, `ner`
ベクトル	0キー、0個の一意のベクトル（0次元）
ソース	OntoNotes 5 (Ralph Weischedel, Martha Palmer, Mitchell Marcus, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, Nianwen Xue, Ann Taylor, Jeff Kaufman, Michelle Franchini, Mohammed El-Bachouti, Robert Belvin, Ann Houston) CoreNLP Universal Dependencies Converter (Stanford NLP Group)
ライセンス	`MIT`
作者	Explosion

ラベルスキーム

ラベルスキームを表示 (3つのコンポーネントに対する100個のラベル)

コンポーネント	ラベル
`tagger`	`AD`, `AS`, `BA`, `CC`, `CD`, `CS`, `DEC`, `DEG`, `DER`, `DEV`, `DT`, `ETC`, `FW`, `IJ`, `INF`, `JJ`, `LB`, `LC`, `M`, `MSP`, `NN`, `NR`, `NT`, `OD`, `ON`, `P`, `PN`, `PU`, `SB`, `SP`, `URL`, `VA`, `VC`, `VE`, `VV`, `X`, `_SP`
`parser`	`ROOT`, `acl`, `advcl:loc`, `advmod`, `advmod:dvp`, `advmod:loc`, `advmod:rcomp`, `amod`, `amod:ordmod`, `appos`, `aux:asp`, `aux:ba`, `aux:modal`, `aux:prtmod`, `auxpass`, `case`, `cc`, `ccomp`, `compound:nn`, `compound:vc`, `conj`, `cop`, `dep`, `det`, `discourse`, `dobj`, `etc`, `mark`, `mark:clf`, `name`, `neg`, `nmod`, `nmod:assmod`, `nmod:poss`, `nmod:prep`, `nmod:range`, `nmod:tmod`, `nmod:topic`, `nsubj`, `nsubj:xsubj`, `nsubjpass`, `nummod`, `parataxis:prnmod`, `punct`, `xcomp`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PRODUCT`, `QUANTITY`, `TIME`, `WORK_OF_ART`

精度

タイプ	スコア
`TOKEN_ACC`	95.85
`TOKEN_P`	94.58
`TOKEN_R`	91.36
`TOKEN_F`	92.94
`TAG_ACC`	89.33
`SENTS_P`	77.85
`SENTS_R`	72.62
`SENTS_F`	75.14
`DEP_UAS`	69.60
`DEP_LAS`	64.08
`ENTS_P`	72.03
`ENTS_R`	64.93
`ENTS_F`	68.30

モデル指標

タスク名	タスクタイプ	メトリクス名	メトリクスタイプ	値
NER	トークン分類	NER Precision	適合率	0.7203462148
NER	トークン分類	NER Recall	再現率	0.6493406593
NER	トークン分類	NER F Score	F値	0.6830029475
TAG	トークン分類	TAG (XPOS) Accuracy	正解率	0.8933253054
UNLABELED_DEPENDENCIES	トークン分類	Unlabeled Attachment Score (UAS)	F値	0.6960047338
LABELED_DEPENDENCIES	トークン分類	Labeled Attachment Score (LAS)	F値	0.640776699
SENTS	トークン分類	Sentences F-Score	F値	0.7514211886