Fine Tashkeel

🚀 Fine-Tashkeel: 高精度アラビア語テキストのダイアクリティカルマーク付与のためのバイトレベルモデルのファインチューニング

Fine-Tashkeelは、事前学習されたバイトレベルのモデルをファインチューニングすることで、高精度なアラビア語テキストのダイアクリティカルマーク付与を実現するプロジェクトです。最小限のトレーニングと特徴量エンジニアリングなしで、高い性能を達成します。

🚀 クイックスタート

このモデルを使用するには、以下のコードを参考にしてください。

基本的な使用法

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import pandas as pd

if __name__ == "__main__":

  text = "كيف الحال"
  
  model_name = "basharalrfooh/Fine-Tashkeel" 
  
  tokenizer = AutoTokenizer.from_pretrained(model_name)
  model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
  
  input_ids = tokenizer(text, return_tensors="pt").input_ids
  outputs = model.generate(input_ids, max_new_tokens=128)
  decoded_output = tokenizer.decode(outputs[0], skip_special_tokens=True, clean_up_tokenization_spaces=False)
  print("Generated output:", decoded_output)

✨ 主な機能

• 事前学習されたトークンフリーの多言語モデル（ByT5）を利用して、アラビア語テキストのダイアクリティカルマーク付与を学習します。
• 最小限のトレーニングと特徴量エンジニアリングなしで、状態-of-the-artの性能を達成し、単語誤り率（WER）を40％削減します。
• 古典アラビア語に特化したトレーニングを行っています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers pandas

📚 ドキュメント

モデル説明

ByT5モデルは、革新的なトークンフリーのアーキテクチャを持ち、生のテキストを直接処理して、様々な言語や言語的なニュアンスを巧みに扱います。広範なテキストコーパスmc4で事前学習されたByT5は、テキストの理解と生成に優れており、様々な自然言語処理タスクに汎用的です。我々は、Tashkeelaデータセットで13,000ステップのファインチューニングを行い、アラビア語のダイアクリティカルマーク付与の性能を大幅に向上させました。

ベンチマーク

注意: このモデルは古典アラビア語での使用に特化してトレーニングされています。

我々のモデルは、ダイアクリティカルマーク誤り率（DER）が0.95、単語誤り率（WER）が2.49を達成しました。

🔧 技術詳細

このプロジェクトでは、事前学習されたByT5モデルを利用して、アラビア語のダイアクリティカルマーク付与を学習します。ByT5は、トークンフリーのアーキテクチャを持ち、生のテキストを直接処理することができます。これにより、様々な言語や言語的なニュアンスを巧みに扱うことができます。我々は、Tashkeelaデータセットで13,000ステップのファインチューニングを行い、アラビア語のダイアクリティカルマーク付与の性能を大幅に向上させました。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📄 引用

@misc{alrfooh2023finetashkeel,
      title={Fine-Tashkeel: Finetuning Byte-Level Models for Accurate Arabic Text Diacritization}, 
      author={Bashar Al-Rfooh and Gheith Abandah and Rami Al-Rfou},
      year={2023},
      eprint={2303.14588},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📞 お問い合わせ

bashar@alrfou.com