Distilbert Base Multilingual Cased Ner Hrl

🚀 マルチリンガルケース付きDistilBERTベースのNER-HRL

distilbert-base-multilingual-cased-ner-hrlは、微調整されたDistiled BERTベースモデルに基づく、10の主要言語（アラビア語、ドイツ語、英語、スペイン語、フランス語、イタリア語、ラトビア語、オランダ語、ポルトガル語、中国語）用の固有表現抽出モデルです。このモデルは、場所（LOC）、組織（ORG）、人物（PER）の3種類のエンティティを認識するように訓練されています。具体的には、このモデルはdistilbert-base-multilingual-casedモデルを10の主要言語のデータで微調整したものです。

🚀 クイックスタート

モデルの使用方法

このモデルは、Transformersのpipelineを使って固有表現抽出（NER）に利用できます。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("Davlan/distilbert-base-multilingual-cased-ner-hrl")
model = AutoModelForTokenClassification.from_pretrained("Davlan/distilbert-base-multilingual-cased-ner-hrl")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Nader Jokhadar had given Syria the lead with a well-struck header in the seventh minute."
ner_results = nlp(example)
print(ner_results)

✨ 主な機能

• 10の主要言語に対応した固有表現抽出を行うことができます。
• 場所（LOC）、組織（ORG）、人物（PER）の3種類のエンティティを認識することができます。

📦 インストール

このモデルを使用するには、Transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

意図された用途と制限

制限とバイアス

このモデルは、特定の期間のエンティティがアノテーションされたニュース記事の訓練データセットに制限されています。このため、異なるドメインのすべてのユースケースにうまく汎化できない可能性があります。

訓練データ

10の言語の訓練データは以下のソースから取得されています。

訓練データセットでは、エンティティの開始と継続を区別しているため、同じタイプのエンティティが連続している場合でも、モデルは2番目のエンティティの開始位置を出力できます。データセットでは、各トークンは以下のクラスのいずれかに分類されます。

訓練手順

このモデルは、NVIDIA V100 GPU上で、HuggingFaceのコードから推奨されるハイパーパラメータを使用して訓練されました。

📄 ライセンス

このモデルはAFL-3.0ライセンスの下で提供されています。