zh_core_web_lgオープンソースモデル - 無料でデプロイして中文分詞、品詞タグ付けなどのNLP機能を実現

Zh Core Web Lg

spacyによって開発

CPUに最適化された中国語自然言語処理プロセスで、形態素解析、品詞タグ付け、依存解析、固有表現認識などの機能を含みます。

シーケンスラベリング中国語オープンソースライセンス:MIT #中国語NLP全プロセス #OntoNotes高精度 #依存構文解析

ダウンロード数 61

リリース時間 : 3/2/2022

モデル概要

これはspaCyフレームワークに基づく中国語処理モデルで、主に中国語テキストのタグ付け分類タスクに使用され、固有表現認識、品詞タグ付け、依存解析などが含まれます。モデルはCPU使用に対して最適化されており、中国語テキスト処理のさまざまなアプリケーションシナリオに適しています。

モデル特徴

CPU最適化

専門的にCPU使用に対して最適化されており、GPUのない環境での実行に適しています。

包括的な中国語処理

形態素解析、品詞タグ付け、依存解析などを含む完全な中国語テキスト処理プロセスを提供します。

高品質ベクトル

500,000個の一意のベクトル(300次元)を含み、良好な意味表現能力を提供します。

マルチタスク処理

固有表現認識、品詞タグ付け、依存解析などの複数のNLPタスクを同時にサポートします。

モデル能力

中国語形態素解析

品詞タグ付け

固有表現認識

依存解析

文分割

使用事例

テキスト分析

中国語テキスト前処理

中国語テキストに対して形態素解析、品詞タグ付けなどの前処理を行います。

正解率90.33%

情報抽出

テキストから人名、地名、組織名などの固有表現を抽出します。

F値71.34%

言語理解

構文解析

中国語の文の依存関係を分析します。

有標識依存正解率65.71%

🚀 zh_core_web_lg

CPU向けに最適化された中国語パイプラインで、tok2vec、tagger、parser、senter、ner、attribute_rulerなどのコンポーネントを備えています。

🚀 クイックスタート

詳細はこちら: https://spacy.io/models/zh#zh_core_web_lg

✨ 主な機能

このモデルは、中国語の自然言語処理に特化したパイプラインで、CPUでの高速処理に最適化されています。主なコンポーネントには、トークン化、品詞タグ付け、構文解析、文境界検出、固有表現認識などが含まれます。

📚 ドキュメント

モデル情報

属性	詳細
モデル名	`zh_core_web_lg`
バージョン	`3.7.0`
spaCyバージョン	`>=3.7.0,<3.8.0`
デフォルトパイプライン	`tok2vec`, `tagger`, `parser`, `attribute_ruler`, `ner`
コンポーネント	`tok2vec`, `tagger`, `parser`, `senter`, `attribute_ruler`, `ner`
ベクトル	500000キー、500000個の一意のベクトル (300次元)
ソース	OntoNotes 5 (Ralph Weischedel, Martha Palmer, Mitchell Marcus, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, Nianwen Xue, Ann Taylor, Jeff Kaufman, Michelle Franchini, Mohammed El-Bachouti, Robert Belvin, Ann Houston) CoreNLP Universal Dependencies Converter (Stanford NLP Group) Explosion fastText Vectors (cbow, OSCAR Common Crawl + Wikipedia) (Explosion)
ライセンス	`MIT`
作者	Explosion

ラベルスキーム

ラベルスキームを表示 (3つのコンポーネントに対する100個のラベル)

コンポーネント	ラベル
`tagger`	`AD`, `AS`, `BA`, `CC`, `CD`, `CS`, `DEC`, `DEG`, `DER`, `DEV`, `DT`, `ETC`, `FW`, `IJ`, `INF`, `JJ`, `LB`, `LC`, `M`, `MSP`, `NN`, `NR`, `NT`, `OD`, `ON`, `P`, `PN`, `PU`, `SB`, `SP`, `URL`, `VA`, `VC`, `VE`, `VV`, `X`, `_SP`
`parser`	`ROOT`, `acl`, `advcl:loc`, `advmod`, `advmod:dvp`, `advmod:loc`, `advmod:rcomp`, `amod`, `amod:ordmod`, `appos`, `aux:asp`, `aux:ba`, `aux:modal`, `aux:prtmod`, `auxpass`, `case`, `cc`, `ccomp`, `compound:nn`, `compound:vc`, `conj`, `cop`, `dep`, `det`, `discourse`, `dobj`, `etc`, `mark`, `mark:clf`, `name`, `neg`, `nmod`, `nmod:assmod`, `nmod:poss`, `nmod:prep`, `nmod:range`, `nmod:tmod`, `nmod:topic`, `nsubj`, `nsubj:xsubj`, `nsubjpass`, `nummod`, `parataxis:prnmod`, `punct`, `xcomp`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PRODUCT`, `QUANTITY`, `TIME`, `WORK_OF_ART`

精度

タイプ	スコア
`TOKEN_ACC`	95.85
`TOKEN_P`	94.58
`TOKEN_R`	91.36
`TOKEN_F`	92.94
`TAG_ACC`	90.33
`SENTS_P`	78.05
`SENTS_R`	72.63
`SENTS_F`	75.24
`DEP_UAS`	70.86
`DEP_LAS`	65.71
`ENTS_P`	73.55
`ENTS_R`	69.25
`ENTS_F`	71.34