Xlm Roberta Base Wikiann Ner

🚀 xlm-roberta-base-wikiann-ner

xlm-roberta-base-wikiann-ner 是首个基于微调后的 XLM - RoBERTa 大模型的 20 种语言（阿拉伯语、阿萨姆语、孟加拉语、加泰罗尼亚语、英语、西班牙语、巴斯克语、法语、古吉拉特语、印地语、印尼语、伊博语、马拉地语、旁遮普语、葡萄牙语、斯瓦希里语、乌尔都语、越南语、约鲁巴语、中文）的 命名实体识别 模型。它在命名实体识别（NER）任务中达到了 最先进的性能。该模型经过训练，可识别三种类型的实体：地点（LOC）、组织（ORG）和人物（PER）。

🚀 快速开始

模型使用

你可以使用 Transformers 的 pipeline 来进行命名实体识别（NER）任务。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-base-wikiann-ner")
model = AutoModelForTokenClassification.from_pretrained("xlm-roberta-base-wikiann-ner")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Ìbọn ń ró kù kù gẹ́gẹ́ bí ọwọ́ ọ̀pọ̀ aráàlù ṣe tẹ ìbọn ní Kyiv láti dojú kọ Russia"
ner_results = nlp(example)
print(ner_results)

✨ 主要特性

• 多语言支持：支持 20 种不同语言的命名实体识别。
• 高性能：在 NER 任务中达到了最先进的性能。
• 实体类型识别：能够识别地点（LOC）、组织（ORG）和人物（PER）三种实体类型。

📦 安装指南

文档未提及安装步骤，如需使用该模型，可参考 Transformers 库的官方安装指南进行安装。

📚 详细文档

预期用途与局限性

局限性和偏差

该模型受其特定时间段内带有实体标注的新闻文章训练数据集的限制，可能无法很好地泛化到不同领域的所有用例。

训练数据

此模型在 20 个命名实体识别数据集（阿拉伯语、阿萨姆语、孟加拉语、加泰罗尼亚语、英语、西班牙语、巴斯克语、法语、古吉拉特语、印地语、印尼语、伊博语、马拉地语、旁遮普语、葡萄牙语、斯瓦希里语、乌尔都语、越南语、约鲁巴语、中文）上进行了微调，这些数据集来自 WikiANN。

训练数据集区分了实体的开始和延续，这样如果存在连续的同类型实体，模型可以输出第二个实体的起始位置。在数据集中，每个标记将被分类为以下类别之一：

BibTeX 引用和引用信息

（文档此处未提供具体内容）