Xlm Roberta Large Ner Hrl

🚀 xlm-roberta-large-ner-hrl

xlm-roberta-large-ner-hrlは、微調整されたXLM - RoBERTa largeモデルに基づく、10の高リソース言語（アラビア語、ドイツ語、英語、スペイン語、フランス語、イタリア語、ラトビア語、オランダ語、ポルトガル語、中国語）用の固有表現抽出モデルです。このモデルは、場所（LOC）、組織（ORG）、人物（PER）の3種類のエンティティを認識するように学習されています。具体的には、このモデルは10の高リソース言語のデータを集約して微調整されたxlm - roberta-largeモデルです。

🚀 クイックスタート

モデルの説明

xlm-roberta-large-ner-hrlは、10の高リソース言語に対応した固有表現抽出モデルです。XLM - RoBERTa largeモデルをベースに微調整され、場所、組織、人物の3種類のエンティティを認識することができます。

想定される用途と制限

使い方

このモデルは、Transformersのpipelineを使って固有表現抽出に使用することができます。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("Davlan/xlm-roberta-large-ner-hrl")
model = AutoModelForTokenClassification.from_pretrained("Davlan/xlm-roberta-large-ner-hrl")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Nader Jokhadar had given Syria the lead with a well-struck header in the seventh minute."
ner_results = nlp(example)
print(ner_results)

制限とバイアス

このモデルは、特定の期間のエンティティ注釈付きニュース記事のトレーニングデータセットに制限されています。このため、異なるドメインのすべてのユースケースに対してうまく汎化できない可能性があります。

トレーニングデータ

10の言語のトレーニングデータは以下のとおりです。

トレーニングデータセットでは、エンティティの開始と継続を区別しているため、同じタイプのエンティティが連続している場合でも、モデルは2番目のエンティティの開始位置を出力することができます。データセットでは、各トークンは以下のクラスのいずれかに分類されます。

トレーニング手順

このモデルは、NVIDIA V100 GPU上で、HuggingFaceのコードから推奨されるハイパーパラメータを使用してトレーニングされました。

📄 ライセンス

このモデルはAFL - 3.0ライセンスの下で提供されています。