Faseeh

🚀 ファシーヒ (Faseeh)

このモデルは、機械翻訳に特化しており、正真正銘の古典アラビア語への翻訳を目的として設計されています。現在の翻訳では現代アラビア語（アランジア語）が主流ですが、このモデルは古典アラビア語への翻訳を可能にします。

🚀 クイックスタート

以下のコードを使用して、モデルを使い始めることができます。

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, GenerationConfig

model_name = "Abdulmohsena/Faseeh"

tokenizer = AutoTokenizer.from_pretrained(model_name, src_lang="eng_Latn", tgt_lang="arb_Arab")
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)


dummy = "And the Saudi Arabian Foreign Minister assured the visitors of the importance to seek the security."

encoded_ar = tokenizer(dummy, return_tensors="pt")
generated_tokens = model.generate(**encoded_ar, generation_config=generation_config)

tokenizer.decode(generated_tokens[0], skip_special_tokens=True)

✨ 主な機能

このモデルは、機械翻訳を通じて、文章を古典アラビア語に翻訳することができます。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデル詳細

• facebookのNLLB 200 Distilled 600Mパラメータのファインチューニング版

モデルソース

• リポジトリ: https://github.com/AbdulmohsenA/Faseeh

バイアス、リスク、制限事項

• クランではない言語ペアの多くはGoogle翻訳によって翻訳されています。したがって、翻訳の品質は、古典アラビア語から英語へのGoogle翻訳の品質に依存します。
• このモデルで使用されるメトリクスはbertscore/e5scoreです。アラインメントの点で完全とは言えませんが、意味的な翻訳において利用可能な最良のメトリクスです。したがって、より良い代替品が現れるまで、これが主な評価メトリクスとなります。
• 一般的にアラビア語への翻訳品質を評価するために使用されるメトリクスは、現代標準アラビア語でトレーニングされているため、このモデルの目標と一致していません。

改善点

• 古典アラビア語の文章から言語ペアを生成するより良いアプローチは、GPT4oを使用することです（この記事を書いている時点では、複雑なアラビア語の文章を理解できる唯一のモデルです）。
• このモデルの目標に合わせた評価メトリクスを設計する必要があります。現在、文章が古典的かどうかを分類するバイナリ分類器を作成しただけです。これは0から1までのスコアとして機能しますが、十分でも柔軟でもないため、評価にはさらなる作業が必要です。

トレーニングデータ

• HuggingFaceデータセット以外のアラビア語テキストは、Shamela Library から収集されています。

メトリクス

• COMET: 個々の単語に焦点を当てるのではなく、同じ意味を表現することにより多くの注意を払うためのメトリクス（意味的な翻訳、構文的な翻訳ではない）
• Fluency Score: 文章が古典的かどうかを分類するために独自に構築されたメトリクス

📄 ライセンス

このモデルはMITライセンスの下で提供されています。