distilroberta-base-ner-wikiann-conll2003-4-classオープンソースモデル - 4種類のエンティティ認識に対応した命名エンティティ認識ツール

ホーム

Distilroberta Base Ner Wikiann Conll2003 4 Class

philschmidによって開発

DistilRoBERTa-baseをベースにした固有表現認識モデルで、wikiannとconll2003データセットでファインチューニングされ、4種類のエンティティ認識をサポートします。

シーケンスラベリング

Transformers

オープンソースライセンス:Apache-2.0 #高精度NER #多言語エンティティ認識 #軽量RoBERTa

ダウンロード数 16

リリース時間 : 3/2/2022

モデル概要

このモデルは固有表現認識（NER）タスク用のモデルで、テキスト中の人名(PER)、組織名(ORG)、地名(LOC)、その他の雑多なエンティティ(MISC)を識別できます。

モデル特徴

高精度エンティティ認識

統合データセットで95.39のF1スコアを達成し、優れた性能を発揮します。

多カテゴリサポート

4種類のエンティティ認識をサポート：人名(PER)、組織名(ORG)、地名(LOC)、その他の雑多なエンティティ(MISC)。

効率的なモデル

DistilRoBERTa-baseをベースにしており、性能を維持しながらモデルサイズを削減しています。

モデル能力

テキストエンティティ認識

多カテゴリエンティティ分類

使用事例

情報抽出

ニューステキスト分析

ニュース記事から人名、組織名、地名などのキー情報を抽出します。

90%以上のエンティティを正確に識別可能

ドキュメント処理

ドキュメント内の固有表現を自動処理・分析します。

🚀 distilroberta-base-ner-wikiann-conll2003-4-class

このモデルは、wikiannとconll2003データセットでdistilroberta-baseをファインチューニングしたバージョンです。conll2003のクラスで構成されています。

O (0), B-PER (1), I-PER (2), B-ORG (3), I-ORG (4) B-LOC (5), I-LOC (6) B-MISC (7), I-MISC (8)。

評価F1スコア: 95.39 (統合データセット)
テストF1スコア: 90.75 (統合データセット)

🚀 クイックスタート

このモデルは、トークン分類タスクに使用できます。以下のコードで簡単に使用できます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("philschmid/distilroberta-base-ner-wikiann-conll2003-4-class")
model = AutoModelForTokenClassification.from_pretrained("philschmid/distilroberta-base-ner-wikiann-conll2003-4-class")

nlp = pipeline("ner", model=model, tokenizer=tokenizer, grouped_entities=True)
example = "My name is Philipp and live in Germany"

nlp(example)