Xlm Roberta Base Wikiann Ner

🚀 xlm-roberta-base-wikiann-ner

xlm-roberta-base-wikiann-ner 是首個基於微調後的 XLM - RoBERTa 大模型的 20 種語言（阿拉伯語、阿薩姆語、孟加拉語、加泰羅尼亞語、英語、西班牙語、巴斯克語、法語、古吉拉特語、印地語、印尼語、伊博語、馬拉地語、旁遮普語、葡萄牙語、斯瓦希里語、烏爾都語、越南語、約魯巴語、中文）的 命名實體識別 模型。它在命名實體識別（NER）任務中達到了 最先進的性能。該模型經過訓練，可識別三種類型的實體：地點（LOC）、組織（ORG）和人物（PER）。

🚀 快速開始

模型使用

你可以使用 Transformers 的 pipeline 來進行命名實體識別（NER）任務。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-base-wikiann-ner")
model = AutoModelForTokenClassification.from_pretrained("xlm-roberta-base-wikiann-ner")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Ìbọn ń ró kù kù gẹ́gẹ́ bí ọwọ́ ọ̀pọ̀ aráàlù ṣe tẹ ìbọn ní Kyiv láti dojú kọ Russia"
ner_results = nlp(example)
print(ner_results)

✨ 主要特性

• 多語言支持：支持 20 種不同語言的命名實體識別。
• 高性能：在 NER 任務中達到了最先進的性能。
• 實體類型識別：能夠識別地點（LOC）、組織（ORG）和人物（PER）三種實體類型。

📦 安裝指南

文檔未提及安裝步驟，如需使用該模型，可參考 Transformers 庫的官方安裝指南進行安裝。

📚 詳細文檔

預期用途與侷限性

侷限性和偏差

該模型受其特定時間段內帶有實體標註的新聞文章訓練數據集的限制，可能無法很好地泛化到不同領域的所有用例。

訓練數據

此模型在 20 個命名實體識別數據集（阿拉伯語、阿薩姆語、孟加拉語、加泰羅尼亞語、英語、西班牙語、巴斯克語、法語、古吉拉特語、印地語、印尼語、伊博語、馬拉地語、旁遮普語、葡萄牙語、斯瓦希里語、烏爾都語、越南語、約魯巴語、中文）上進行了微調，這些數據集來自 WikiANN。

訓練數據集區分了實體的開始和延續，這樣如果存在連續的同類型實體，模型可以輸出第二個實體的起始位置。在數據集中，每個標記將被分類為以下類別之一：

BibTeX 引用和引用信息

（文檔此處未提供具體內容）