Xlm Roberta Base Ner Hrl

🚀 xlm-roberta-base-ner-hrl

xlm-roberta-base-ner-hrl 是一個用於 10 種高資源語言（阿拉伯語、德語、英語、西班牙語、法語、意大利語、拉脫維亞語、荷蘭語、葡萄牙語和中文）的 命名實體識別 模型。它基於經過微調的 XLM - RoBERTa 基礎模型，經過訓練可以識別三種類型的實體：地點（LOC）、組織（ORG）和人物（PER）。

🚀 快速開始

使用方法

你可以使用 Transformers 的 pipeline 進行命名實體識別（NER），以下是使用示例：

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("Davlan/xlm-roberta-base-ner-hrl")
model = AutoModelForTokenClassification.from_pretrained("Davlan/xlm-roberta-base-ner-hrl")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Nader Jokhadar had given Syria the lead with a well-struck header in the seventh minute."
ner_results = nlp(example)
print(ner_results)

✨ 主要特性

• 多語言支持：支持阿拉伯語、德語、英語、西班牙語、法語、意大利語、拉脫維亞語、荷蘭語、葡萄牙語和中文這 10 種高資源語言。
• 實體類型識別：能夠識別地點（LOC）、組織（ORG）和人物（PER）三種類型的實體。

📚 詳細文檔

預期用途與侷限性

使用方法

可以使用 Transformers 的 pipeline 進行命名實體識別。

侷限性和偏差

該模型受限於特定時間段內帶有實體標註的新聞文章訓練數據集，可能無法很好地泛化到不同領域的所有用例。

訓練數據

10 種語言的訓練數據來源如下：

訓練數據集區分了實體的開始和延續，以便在出現連續的同類型實體時，模型能夠輸出第二個實體的起始位置。在數據集中，每個標記將被分類為以下類別之一：

訓練過程

該模型在 NVIDIA V100 GPU 上使用 HuggingFace 代碼推薦的超參數進行訓練。

📄 許可證

本項目採用 AFL - 3.0 許可證。