ru_core_news_smオープンソースのロシア語処理モデル - 無料でデプロイして形態素解析、品詞タグ付け、固有表現認識を実現

Ru Core News Sm

spacyによって開発

spaCyが提供するCPU最適化されたロシア語処理パイプライン。トークン化、品詞タグ付け、依存関係解析、固有表現認識などの機能を含む

ダウンロード数 1,310

リリース時間 : 3/2/2022

モデル概要

これはロシア語自然言語処理モデルで、spaCyフレームワークに基づいて開発され、ロシア語テキスト処理に特化して最適化されています。モデルには完全なNLP処理パイプラインが含まれており、トークン化、品詞タグ付け、依存構文解析、固有表現認識などのタスクを実行できます。

CPU最適化

CPU処理に特化して最適化されており、リソースが限られた環境での実行に適しています

完全なNLPパイプライン

トークン化から固有表現認識までの完全な自然言語処理パイプラインを含みます

高精度

NER F値が94.98%、品詞タグ付け精度が98.77%など、各NLPタスクで優れた性能を発揮します

ロシア語トークン化

品詞タグ付け

依存構文解析

固有表現認識

文分割

レンマ化

テキスト分析

ロシア語ニュース分析

ロシア語ニュースから人名、地名、組織名などの実体情報を抽出

NER F値が94.98%

ロシア語文法チェック

ロシア語の文の文法構造を分析し、品詞と依存関係を識別

依存解析UASが95.87%

情報抽出

ロシア語ドキュメント処理

ロシア語ドキュメントから構造化情報を抽出

このモデルは、CPU向けに最適化されたロシア語のパイプラインです。様々な自然言語処理タスクに使用できます。

詳細については、こちらを参照してください。

このモデルは、以下のタスクに最適化されています。

タスク	評価指標	値
NER	NER Precision	0.9487739335
NER	NER Recall	0.9508500252
NER	NER F Score	0.9498108449
TAG	TAG (XPOS) Accuracy	0.987696514
POS	POS (UPOS) Accuracy	0.987696514
MORPH	Morph (UFeats) Accuracy	0.9702812464
LEMMA	Lemma Accuracy	2.15295e-05
UNLABELED_DEPENDENCIES	Unlabeled Attachment Score (UAS)	0.9586955101
LABELED_DEPENDENCIES	Labeled Attachment Score (LAS)	0.946180635
SENTS	Sentences F-Score	0.9988584475

属性	詳情
名前	`ru_core_news_sm`
バージョン	`3.7.0`
spaCy	`>=3.7.0,<3.8.0`
デフォルトパイプライン	`tok2vec`, `morphologizer`, `parser`, `attribute_ruler`, `lemmatizer`, `ner`
コンポーネント	`tok2vec`, `morphologizer`, `parser`, `senter`, `attribute_ruler`, `lemmatizer`, `ner`
ベクトル	0 キー, 0 ユニークベクトル (0 次元)
ソース	Nerus (Alexander Kukushkin)
ライセンス	`MIT`
作者	Explosion

ラベルスキームを表示 (3 コンポーネントに対する 900 ラベル)

コンポーネント	ラベル
`morphologizer`	`Case=Nom\|Degree=Pos\|Number=Plur\|POS=ADJ`, `Animacy=Anim\|Case=Nom\|Gender=Masc\|Number=Plur\|POS=NOUN`, `Aspect=Perf\|Mood=Ind\|Number=Plur\|POS=VERB\|Tense=Past\|VerbForm=Fin\|Voice=Act`, ...