EXLMR

🚀 XLM - R和EXLMR模型

本项目引入了EXLMR模型，它是XLM - R的扩展版本。该模型扩展了XLM - R的分词器词汇表，纳入了新的语言，有效缓解了词表外（OOV）问题。通过特定的初始化方式，模型能够充分利用新增的词汇表。这一改进不仅有益于低资源语言，还提升了XLM - R原覆盖的高资源语言的处理性能。

🚀 快速开始

EXLMR解决了XLM - R模型固有的分词问题，例如词表外（OOV）标记和过度分词问题，尤其针对低资源语言。在特定数据集上进行微调有助于使模型适应特定任务并提高其性能。你可以使用transformers库将此模型用于各种自然语言处理任务。

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
# Define the model checkpoint
checkpoint = "Hailay/EXLMR"  

# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)

✨ 主要特性

• 语言支持扩展：EXLMR专为提升埃塞俄比亚使用的低资源语言（如阿姆哈拉语、提格雷尼亚语和阿法尔奥罗莫语）的处理性能而设计，同时也支持其他多种语言。
• 多语言任务处理：和XLM - RoBERTa一样，EXLMR可以同时进行多语言微调，适用于机器翻译、多语言文本分类和问答等跨语言任务。
• 架构优化：EXLMR - base采用了与RoBERTa - base相同的架构，包含12层、768个隐藏维度和12个注意力头，总参数约2.7亿。

📚 详细文档

模型概述

XLM - R（跨语言语言模型 - RoBERTa）是一个在100种语言上训练的多语言模型。EXLMR（扩展的XLM - RoBERTa）是其扩展版本，旨在提高埃塞俄比亚使用的低资源语言的处理性能，这些语言包括阿姆哈拉语、提格雷尼亚语和阿法尔奥罗莫语。

模型详情

评估指标

• 准确率
• F1值

基础模型

• FacebookAI/xlm - roberta - base

任务类型

零样本分类

库名称

transformers

数据集

• Hailay/TigQA
• masakhane/masakhaner2

许可证

本项目采用Apache 2.0许可证。