EXLMR

🚀 XLM - RとEXLMRモデル

このプロジェクトでは、XLM - Rを拡張したEXLMRモデルを紹介します。このモデルは、トークナイザの語彙を拡張して新しい言語を取り入れ、語彙外（OOV）の問題を軽減します。新たに追加された語彙の埋め込みを適切に初期化することで、モデルがこれらの語彙を効果的に活用できるようになっています。このアプローチは、低リソース言語にとって有益であるだけでなく、元のXLM - Rモデルに含まれる高リソース言語でのパフォーマンスも向上させます。

🚀 クイックスタート

EXLMRは、XLM - Rモデルに固有のトークン化の問題、例えば語彙外（OOV）トークンや過剰トークン化など、特に低リソース言語に関する問題を解決します。特定のデータセットでファインチューニングすることで、モデルを特定のタスクに適応させ、パフォーマンスを向上させることができます。このモデルは、transformersライブラリを使用して、様々な自然言語処理タスクに利用できます。

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
# Define the model checkpoint
checkpoint = "Hailay/EXLMR"  

# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)

✨ 主な機能

• EXLMRは、エチオピアで話される低リソース言語（アムハラ語、ティグリニャ語、アファン・オロモ語など）でのパフォーマンスを向上させるように設計されています。
• XLM - RoBERTaと同様に、EXLMRは複数の言語を同時に扱うようにファインチューニングでき、機械翻訳、多言語テキスト分類、質問応答などのクロスリンガルタスクに有効です。

📚 ドキュメント

モデル概要

XLM - R（Cross - lingual Language Model - RoBERTa）は、100の言語で学習された多言語モデルです。EXLMR（Extended XLM - RoBERTa）は、エチオピアで話される低リソース言語（アムハラ語、ティグリニャ語、アファン・オロモ語など）でのパフォーマンスを向上させるために設計された拡張版です。

モデル詳細

ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。