Xlm Roberta Base Wikiann Ner

🚀 xlm-roberta-base-wikiann-ner

このモデルは、XLM - RoBERTaの大規模モデルをファインチューニングした、20言語（アラビア語、アッサム語、ベンガル語、カタルーニャ語、英語、スペイン語、バスク語、フランス語、グジャラート語、ヒンディー語、インドネシア語、イボ語、マラーティー語、パンジャーブ語、ポルトガル語、スワヒリ語、ウルドゥー語、ベトナム語、ヨルバ語、中国語）用の初の固有表現認識（Named Entity Recognition）モデルです。NERタスクにおいて最先端の性能を達成しています。

✨ 主な機能

• 20言語に対応した固有表現認識が可能です。
• 場所（LOC）、組織（ORG）、人物（PER）の3種類のエンティティを認識するように訓練されています。
• 特定の期間のエンティティ付きニュース記事のデータセットを使用して訓練されています。

📦 インストール

このモデルはHugging FaceのTransformersライブラリを使用して利用できます。ライブラリがインストールされていない場合は、以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-base-wikiann-ner")
model = AutoModelForTokenClassification.from_pretrained("xlm-roberta-base-wikiann-ner")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Ìbọn ń ró kù kù gẹ́gẹ́ bí ọwọ́ ọ̀pọ̀ aráàlù ṣe tẹ ìbọn ní Kyiv láti dojú kọ Russia"
ner_results = nlp(example)
print(ner_results)

📚 ドキュメント

モデルの詳細

xlm - roberta - base - wikiann - ner は、WikiANN データセットから取得した複数言語のデータセットの集合でファインチューニングされた xlm - roberta - large モデルです。

想定される用途と制限

使い方

このモデルはTransformersの pipeline を使用してNERに利用できます。上記の使用例を参照してください。

制限とバイアス

このモデルは、特定の期間のエンティティ付きニュース記事の訓練データセットに制限されています。このため、異なるドメインのすべてのユースケースに対してうまく汎化できない可能性があります。

訓練データ

このモデルは、20のNERデータセット（アラビア語、アッサム語、ベンガル語、カタルーニャ語、英語、スペイン語、バスク語、フランス語、グジャラート語、ヒンディー語、インドネシア語、イボ語、マラーティー語、パンジャーブ語、ポルトガル語、スワヒリ語、ウルドゥー語、ベトナム語、ヨルバ語、中国語）でファインチューニングされています。 訓練データセットは、エンティティの開始と継続を区別するため、同じタイプのエンティティが連続している場合でも、モデルは2番目のエンティティの開始位置を出力できます。データセット内の各トークンは、以下のクラスのいずれかに分類されます。

BibTeX引用

# 原文でBibTeXエントリが空だったので、そのまま空で出力