en_core_web_smオープンソース英語言語処理モデル - 分詞、品詞タグ付けなどの機能を無料で実現

ホーム

En Core Web Sm

spacyによって開発

spaCyが提供するCPU最適化済みの英語用小型言語処理パイプライン。トークン化、品詞タグ付け、依存関係解析、固有表現認識などのコア機能を含む

シーケンスラベリング英語オープンソースライセンス:MIT #英語テキスト処理 #固有表現認識 #依存構文解析

ダウンロード数 2,707

リリース時間 : 3/2/2022

モデル概要

これは英語の自然言語処理モデルで、主にテキストのトークン化、品詞タグ付け、依存構文解析、固有表現認識などの基本的なNLPタスクに使用されます。CPU使用に最適化されており、軽量なアプリケーションシナリオに適しています。

モデル特徴

CPU最適化

CPU使用シナリオ向けに特別に最適化されており、リソースが限られた環境に適している

マルチタスク処理

単一パイプラインで同時にトークン化、品詞タグ付け、依存関係解析、固有表現認識を処理

軽量

小型モデルサイズで単語ベクトルを含まず、迅速なデプロイに適している

高精度

OntoNotes 5などの標準データセットで高い精度を達成

モデル能力

テキストトークン化

品詞タグ付け

依存構文解析

固有表現認識

文分割

レンマ化

使用事例

テキスト分析

情報抽出

テキストから人名、地名、組織名などのエンティティ情報を抽出

F1スコア84.56%

構文解析

文の構文構造と単語間の依存関係を分析

依存関係解析UAS 91.75%

コンテンツ処理

テキスト前処理

機械学習モデルのためのテキストデータ準備（トークン化、品詞タグ付けなど）

トークン化精度99.86%

🚀 en_core_web_smモデル

CPU向けに最適化された英語処理パイプラインです。tok2vec、tagger、parser、senter、ner、attribute_ruler、lemmatizerなどのコンポーネントを備えています。

🚀 クイックスタート

このモデルは英語の自然言語処理タスクを実行するために最適化されています。詳細についてはこちらを参照してください。

📚 ドキュメント

モデル概要

このモデルは英語の自然言語処理タスクを実行するためのspaCyパイプラインです。CPUでの高速処理に最適化されています。

モデル情報

属性	詳情
モデル名	`en_core_web_sm`
バージョン	`3.7.1`
spaCyバージョン	`>=3.7.2,<3.8.0`
デフォルトパイプライン	`tok2vec`, `tagger`, `parser`, `attribute_ruler`, `lemmatizer`, `ner`
コンポーネント	`tok2vec`, `tagger`, `parser`, `senter`, `attribute_ruler`, `lemmatizer`, `ner`
ベクトル	0キー、0ユニークベクトル (0次元)
ソース	OntoNotes 5 (Ralph Weischedel, Martha Palmer, Mitchell Marcus, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, Nianwen Xue, Ann Taylor, Jeff Kaufman, Michelle Franchini, Mohammed El-Bachouti, Robert Belvin, Ann Houston) ClearNLP Constituent-to-Dependency Conversion (Emory University) WordNet 3.0 (Princeton University)
ライセンス	`MIT`
作者	Explosion

ラベルスキーム

ラベルスキームを表示 (3つのコンポーネントに対する113のラベル)

コンポーネント	ラベル
`tagger`	`$`, `''`, `,`, `-LRB-`, `-RRB-`, `.`, `:`, `ADD`, `AFX`, `CC`, `CD`, `DT`, `EX`, `FW`, `HYPH`, `IN`, `JJ`, `JJR`, `JJS`, `LS`, `MD`, `NFP`, `NN`, `NNP`, `NNPS`, `NNS`, `PDT`, `POS`, `PRP`, `PRP$`, `RB`, `RBR`, `RBS`, `RP`, `SYM`, `TO`, `UH`, `VB`, `VBD`, `VBG`, `VBN`, `VBP`, `VBZ`, `WDT`, `WP`, `WP$`, `WRB`, `XX`, `_SP`, ````
`parser`	`ROOT`, `acl`, `acomp`, `advcl`, `advmod`, `agent`, `amod`, `appos`, `attr`, `aux`, `auxpass`, `case`, `cc`, `ccomp`, `compound`, `conj`, `csubj`, `csubjpass`, `dative`, `dep`, `det`, `dobj`, `expl`, `intj`, `mark`, `meta`, `neg`, `nmod`, `npadvmod`, `nsubj`, `nsubjpass`, `nummod`, `oprd`, `parataxis`, `pcomp`, `pobj`, `poss`, `preconj`, `predet`, `prep`, `prt`, `punct`, `quantmod`, `relcl`, `xcomp`
`ner`	`CARDINAL`, `DATE`, `EVENT`, `FAC`, `GPE`, `LANGUAGE`, `LAW`, `LOC`, `MONEY`, `NORP`, `ORDINAL`, `ORG`, `PERCENT`, `PERSON`, `PRODUCT`, `QUANTITY`, `TIME`, `WORK_OF_ART`

精度

タイプ	スコア
`TOKEN_ACC`	99.86
`TOKEN_P`	99.57
`TOKEN_R`	99.58
`TOKEN_F`	99.57
`TAG_ACC`	97.25
`SENTS_P`	92.02
`SENTS_R`	89.21
`SENTS_F`	90.59
`DEP_UAS`	91.75
`DEP_LAS`	89.87
`ENTS_P`	84.55
`ENTS_R`	84.57
`ENTS_F`	84.56

モデル指標

タスク名	タスクタイプ	メトリクス名	メトリクスタイプ	値
NER	token-classification	NER Precision	precision	0.8454836771
NER	token-classification	NER Recall	recall	0.8456530449
NER	token-classification	NER F Score	f_score	0.8455683525
TAG	token-classification	TAG (XPOS) Accuracy	accuracy	0.97246532
UNLABELED_DEPENDENCIES	token-classification	Unlabeled Attachment Score (UAS)	f_score	0.9175304332
LABELED_DEPENDENCIES	token-classification	Labeled Attachment Score (LAS)	f_score	0.89874821
SENTS	token-classification	Sentences F-Score	f_score	0.9059485531