EXLMR

🚀 XLM - R和EXLMR模型

本項目引入了EXLMR模型，它是XLM - R的擴展版本。該模型擴展了XLM - R的分詞器詞彙表，納入了新的語言，有效緩解了詞表外（OOV）問題。通過特定的初始化方式，模型能夠充分利用新增的詞彙表。這一改進不僅有益於低資源語言，還提升了XLM - R原覆蓋的高資源語言的處理性能。

🚀 快速開始

EXLMR解決了XLM - R模型固有的分詞問題，例如詞表外（OOV）標記和過度分詞問題，尤其針對低資源語言。在特定數據集上進行微調有助於使模型適應特定任務並提高其性能。你可以使用transformers庫將此模型用於各種自然語言處理任務。

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
# Define the model checkpoint
checkpoint = "Hailay/EXLMR"  

# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)

✨ 主要特性

• 語言支持擴展：EXLMR專為提升埃塞俄比亞使用的低資源語言（如阿姆哈拉語、提格雷尼亞語和阿法爾奧羅莫語）的處理性能而設計，同時也支持其他多種語言。
• 多語言任務處理：和XLM - RoBERTa一樣，EXLMR可以同時進行多語言微調，適用於機器翻譯、多語言文本分類和問答等跨語言任務。
• 架構優化：EXLMR - base採用了與RoBERTa - base相同的架構，包含12層、768個隱藏維度和12個注意力頭，總參數約2.7億。

📚 詳細文檔

模型概述

XLM - R（跨語言語言模型 - RoBERTa）是一個在100種語言上訓練的多語言模型。EXLMR（擴展的XLM - RoBERTa）是其擴展版本，旨在提高埃塞俄比亞使用的低資源語言的處理性能，這些語言包括阿姆哈拉語、提格雷尼亞語和阿法爾奧羅莫語。

模型詳情

評估指標

• 準確率
• F1值

基礎模型

• FacebookAI/xlm - roberta - base

任務類型

零樣本分類

庫名稱

transformers

數據集

• Hailay/TigQA
• masakhane/masakhaner2

許可證

本項目採用Apache 2.0許可證。