Faseeh

🚀 法希（Faseeh）模型

法希（Faseeh）是一款專為翻譯為純正古典阿拉伯語而設計的機器翻譯模型。當前翻譯領域中，現代阿拉伯語（“阿式外語”）較為盛行，而該模型旨在提供更純正的古典阿拉伯語翻譯。

🚀 快速開始

使用以下代碼開始使用該模型：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, GenerationConfig

model_name = "Abdulmohsena/Faseeh"

tokenizer = AutoTokenizer.from_pretrained(model_name, src_lang="eng_Latn", tgt_lang="arb_Arab")
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)


dummy = "And the Saudi Arabian Foreign Minister assured the visitors of the importance to seek the security."

encoded_ar = tokenizer(dummy, return_tensors="pt")
generated_tokens = model.generate(**encoded_ar, generation_config=generation_config)

tokenizer.decode(generated_tokens[0], skip_special_tokens=True)

✨ 主要特性

• 該模型是基於臉書（Facebook）的NLLB 200蒸餾6億參數版本進行微調的。

📚 詳細文檔

模型來源

• 倉庫地址：https://github.com/AbdulmohsenA/Faseeh

模型偏差、風險和侷限性

⚠️ 重要提示

• 《古蘭經》之外的語言對大多由谷歌翻譯進行翻譯，因此翻譯質量取決於谷歌從古典阿拉伯語到英語的翻譯質量。
• 本模型使用的評估指標是BertScore/E5Score，在對齊方面並不完美，但它是語義翻譯方面可用的最佳指標。因此，在出現更好的替代指標之前，這是主要的評估指標。
• 一般用於評估阿拉伯語翻譯質量的指標是基於現代標準阿拉伯語進行訓練的，因此與本模型的目標不一致。

改進方向

💡 使用建議

• 從古典阿拉伯語文本生成語言對的更好方法是使用GPT4o（在撰寫本文時，這是唯一能夠理解複雜阿拉伯語句子的模型）。
• 應該為該模型的目標設計專門的評估指標。目前，僅創建了一個二元分類器來判斷句子是否為古典阿拉伯語，其評分範圍為0到1，但這既不充分也不靈活，因此在評估方面還需要做更多工作。

訓練數據

• 除Hugging Face數據集之外的阿拉伯語文本是從沙梅拉圖書館抓取的。

評估指標

• COMET：更注重表達相同的含義，而不是關注單個單詞（語義翻譯，而非句法翻譯）。
• 流暢度評分：一個自定義的指標，用於判斷句子是否為古典阿拉伯語。

📄 許可證

本項目採用MIT許可證。

相關鏈接

巴利格主頁