Xlm Roberta Base Ner Hrl

🚀 xlm-roberta-base-ner-hrl

xlm-roberta-base-ner-hrlは、XLM - RoBERTaベースモデルをファインチューニングした、10の高資源言語（アラビア語、ドイツ語、英語、スペイン語、フランス語、イタリア語、ラトビア語、オランダ語、ポルトガル語、中国語）用の固有表現認識モデルです。このモデルは、3種類のエンティティ（場所（LOC）、組織（ORG）、人物（PER））を認識するように訓練されています。具体的には、このモデルは、10の高資源言語のデータセットを集約してファインチューニングされたxlm - roberta - baseモデルです。

🚀 クイックスタート

このモデルは、Transformersのpipelineを使用して固有表現認識（NER）に利用できます。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("Davlan/xlm-roberta-base-ner-hrl")
model = AutoModelForTokenClassification.from_pretrained("Davlan/xlm-roberta-base-ner-hrl")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Nader Jokhadar had given Syria the lead with a well-struck header in the seventh minute."
ner_results = nlp(example)
print(ner_results)

✨ 主な機能

• 10の高資源言語に対応した固有表現認識が可能です。
• 場所（LOC）、組織（ORG）、人物（PER）の3種類のエンティティを認識できます。

📚 ドキュメント

想定される使用方法と制限

使い方

前述の通り、Transformersのpipelineを使用してNERに利用できます。

制限とバイアス

このモデルは、特定の期間のエンティティがアノテーションされたニュース記事の訓練データセットに制限されています。このため、異なるドメインのすべてのユースケースに対して汎化性能が高いとは限りません。

訓練データ

10の言語の訓練データは以下のとおりです。

訓練データセットでは、エンティティの開始と継続を区別しているため、同じタイプのエンティティが連続して出現した場合でも、モデルは2番目のエンティティの開始位置を出力できます。データセット内の各トークンは、以下のクラスのいずれかに分類されます。

訓練手順

このモデルは、NVIDIA V100 GPU上で、HuggingFaceのコードで推奨されるハイパーパラメータを使用して訓練されました。

📄 ライセンス

このモデルはAFL - 3.0ライセンスの下で提供されています。