Mt5 Base Yoruba Adr

🚀 mT5_base_yoruba_adr

mT5_base_yoruba_adr は、Yorùbá語の自動ダイアクリティック復元（自動的にアクセント記号や調号を付ける）モデルです。微調整されたmT5-baseモデルをベースに構築されており、Yorùbá語のテキストに正しいダイアクリティックや調号を付与する際に、最先端の性能を発揮します。

🚀 クイックスタート

このモデルは、Transformersの pipeline を使って自動ダイアクリティック復元（ADR）に利用することができます。

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("")
model = AutoModelForTokenClassification.from_pretrained("")
nlp = pipeline("", model=model, tokenizer=tokenizer)
example = "Emir of Kano turban Zhang wey don spend 18 years for Nigeria"
ner_results = nlp(example)
print(ner_results)

✨ 主な機能

• 最先端の性能：Yorùbá語のテキストに正しいダイアクリティックや調号を付与する際に、高い精度を達成します。
• 微調整済みモデル：JW300 YorùbáコーパスとMenyo-20kデータセットで微調整されています。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

想定される用途と制限

制限とバイアス

このモデルは、特定の期間のエンティティ注釈付きニュース記事のトレーニングデータセットに制限されています。このため、異なるドメインのすべてのユースケースに対して良好に汎化できない可能性があります。

トレーニングデータ

このモデルは、JW300 YorùbáコーパスとMenyo-20kデータセットで微調整されました。

トレーニング手順

このモデルは、単一のNVIDIA V100 GPUでトレーニングされました。

テストセットでの評価結果（BLEUスコア）

• Global Voices test setで64.63 BLEU
• Menyo-20k test setで70.27 BLEU

BibTeXエントリと引用情報

By Jesujoba Alabi and David Adelani

🔧 技術詳細

READMEに具体的な技術詳細が十分に記載されていないため、このセクションは省略されます。

📄 ライセンス

READMEにライセンス情報が記載されていないため、このセクションは省略されます。