Xlm Roberta Large Ner Hrl

🚀 xlm-roberta-large-ner-hrl

xlm-roberta-large-ner-hrl 是一個用於 10 種高資源語言（阿拉伯語、德語、英語、西班牙語、法語、意大利語、拉脫維亞語、荷蘭語、葡萄牙語和中文）的 命名實體識別 模型。該模型基於經過微調的 XLM - RoBERTa 大模型，能夠識別三種類型的實體：地點（LOC）、組織（ORG）和人物（PER）。

🚀 快速開始

你可以使用 Transformers 的 pipeline 進行命名實體識別。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("Davlan/xlm-roberta-large-ner-hrl")
model = AutoModelForTokenClassification.from_pretrained("Davlan/xlm-roberta-large-ner-hrl")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Nader Jokhadar had given Syria the lead with a well-struck header in the seventh minute."
ner_results = nlp(example)
print(ner_results)

✨ 主要特性

• 多語言支持：支持 10 種高資源語言，包括阿拉伯語、德語、英語、西班牙語、法語、意大利語、拉脫維亞語、荷蘭語、葡萄牙語和中文。
• 實體類型識別：能夠識別三種類型的實體，分別為地點（LOC）、組織（ORG）和人物（PER）。

📚 詳細文檔

預期用途和限制

使用方法

可以使用 Transformers 的 pipeline 來使用該模型進行命名實體識別，示例代碼如上所示。

限制和偏差

該模型受其特定時間段內帶有實體標註的新聞文章訓練數據集的限制，可能無法很好地泛化到不同領域的所有用例。

訓練數據

10 種語言的訓練數據來源如下：

訓練數據集區分了實體的開始和延續，以便在出現連續的同類型實體時，模型能夠輸出第二個實體的起始位置。在數據集中，每個標記將被分類為以下類別之一：

訓練過程

該模型在 NVIDIA V100 GPU 上使用 HuggingFace 代碼推薦的超參數進行訓練。

📄 許可證

本模型使用 AFL - 3.0 許可證。