Xlm Roberta Base Finetuned Amharic Finetuned Ner Swahili

🚀 XLM-RoBERTa基础模型微调阿姆哈拉语后再微调斯瓦希里语命名实体识别模型

这是一个用于词元分类（具体为命名实体识别，NER）的模型。它在MasakhaNER数据集（特别是斯瓦希里语部分）上对xlm-roberta-base-finetuned-amharic进行了微调。

更多信息以及其他类似模型可在主GitHub仓库中找到。

🚀 快速开始

要使用此模型（或其他模型），你可以按以下操作，只需更改模型名称（来源）：

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
model_name = 'mbeukman/xlm-roberta-base-finetuned-amharic-finetuned-ner-swahili'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Wizara ya afya ya Tanzania imeripoti Jumatatu kuwa , watu takriban 14 zaidi wamepata maambukizi ya Covid - 19 ."

ner_results = nlp(example)
print(ner_results)

✨ 主要特性

• 基于Transformer架构，在MasakhaNER数据集上进行微调。
• 能够对斯瓦希里语进行命名实体识别。
• 与直接使用xlm-roberta-base相比，在语言自适应方面表现更优。

🔧 技术细节

模型微调

该模型在MasakhaNER数据集上进行了微调，这是一个命名实体识别数据集，包含10种不同非洲语言的新闻文章。模型微调了50个周期，最大序列长度为200，批量大小为32，学习率为5e - 5。此过程重复了5次（使用不同的随机种子），上传的这个模型在这5个种子的测试集上聚合F1分数表现最佳。

训练资源

每个模型在NER数据集上的微调时间在10到30分钟之间，使用NVIDIA RTX3090 GPU进行训练。若要使用批量大小为32，至少需要14GB的GPU内存；当批量大小为1时，大约6.5GB的显存也可以容纳这些模型。

数据来源

训练、评估和测试数据集直接取自MasakhaNER的GitHub仓库，几乎没有进行预处理，因为原始数据集质量很高。使用该数据的动机在于它是“首个大规模、公开可用、高质量的十种非洲语言命名实体识别（NER）数据集”（来源）。高质量的数据以及引入该数据集的论文所做的基础工作也是选择此数据集的原因。评估使用了专门的测试分割集，其数据分布与训练集相似，因此该模型可能无法很好地泛化到其他分布，需要进一步测试来研究这一点。数据的确切分布在此处有详细介绍。

📚 详细文档

预期用途

该模型旨在用于自然语言处理研究，例如可解释性或迁移学习。不支持在生产环境中使用此模型，因为其泛化能力和性能有限。特别是，它并非设计用于可能影响人们的任何重要下游任务，因为模型的局限性可能会造成危害。

局限性

• 该模型仅在一个（相对较小的）数据集上进行训练，涵盖一个任务（NER）、一个领域（新闻文章）以及特定的时间段。结果可能无法泛化，如果用于其他任务，模型可能表现不佳，或者表现出不公平/有偏差的情况。
• 尽管该项目的目的是研究迁移学习，但模型在未训练的语言上的性能会受到影响。
• 由于该模型以xlm - roberta - base为起点（可能在特定语言上进行了领域自适应微调），因此也可能存在与该基础模型类似的局限性，例如倾向于其大部分训练数据的主流观点、缺乏依据以及在其他语言上的表现不佳（可能是由于训练数据不平衡）。
• 正如Adelani等人（2021）所示，模型通常在处理长度超过3个词的实体和训练数据中未包含的实体时存在困难。这可能导致模型在识别例如多词人名时出现偏差，从而可能导致结果的不准确。同样，不常见的名称（由于不同语言等原因未在训练数据中出现）也更难被预测。
• 此外，该模型尚未在实践中得到验证，如果在未验证其功能的情况下使用，可能会出现其他更细微的问题。

隐私与伦理考量

数据仅来自公开的新闻来源，可用数据应仅涉及公众人物以及同意被报道的人。更多详细信息请参阅原始的MasakhaNER论文。在微调此模型期间，未进行明确的伦理考量或调整。

指标

语言自适应模型在大多数情况下比直接使用xlm - roberta - base表现更优。主要指标是所有NER类别的聚合F1分数。这些指标是在MasakhaNER测试集上得出的，因此数据分布与训练集相似，这些结果并不能直接表明这些模型的泛化能力。从不同种子开始进行迁移学习时，迁移结果存在较大差异（测试了5种不同的种子），这表明迁移的微调过程可能不稳定。所使用的指标与先前的工作保持一致，以方便研究。其他指标可能更适合其他目的。

注意事项和建议

总体而言，该模型在“日期”类别上的表现比其他类别差。因此，如果日期是关键因素，则可能需要考虑并解决这个问题，例如收集和标注更多数据。

模型结构

以下是该特定模型与我们训练的其他模型相比的一些性能细节。所有这些指标都是在测试集上计算的，并选择了能给出最佳整体F1分数的种子。前三列结果是所有类别的平均值，后四列按类别提供性能数据。

该模型可以为词元预测以下标签（来源）：

📄 许可证

该模型遵循Apache许可证2.0版。

联系信息与更多资源

有关模型的更多信息，包括训练脚本、详细结果和其他资源，你可以访问主GitHub仓库。你可以通过在此仓库中提交问题来与我联系。