Translate Ar En V1.0 Hplt Opus

🚀 HPLT MT 發佈 v1.0

本倉庫包含使用 OPUS 和 HPLT 數據訓練的阿拉伯語 - 英語翻譯模型。該模型同時提供 Marian 和 Hugging Face 兩種格式。

🚀 快速開始

本模型可通過 Marian 和 Hugging Face 兩種方式使用，具體使用方法如下：

使用 Marian

若要使用 MarianNMT 進行推理，請參考我們 GitHub 倉庫中 推理/解碼/翻譯 部分的內容。你需要從本倉庫獲取模型文件 model.npz.best-chrf.npz 和詞彙文件 model.ar-en.spm。

使用 transformers

我們也將該模型轉換為了 Hugging Face 格式，你可以使用以下腳本開始使用。注意，由於權重轉換中存在一個已知問題，該檢查點無法在低於 4.26 或高於 4.30 的 transformers 版本中使用。我們經過測試，建議使用 pip install transformers==4.28。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("HPLT/translate-ar-en-v1.0-hplt_opus")
model = AutoModelForSeq2SeqLM.from_pretrained("HPLT/translate-ar-en-v1.0-hplt_opus")

inputs = ["Input goes here.", "Make sure the language is right."]
batch_tokenized = tokenizer(inputs, return_tensors="pt", padding=True)
model_output = model.generate(
    **batch_tokenized, num_beams=6, max_new_tokens=512
)
batch_detokenized = tokenizer.batch_decode(
    model_output,
    skip_special_tokens=True,
)

print(batch_detokenized)

✨ 主要特性

• 支持阿拉伯語到英語的翻譯任務。
• 提供 Marian 和 Hugging Face 兩種格式，方便不同用戶使用。

📦 安裝指南

使用 transformers 格式時，建議安裝 transformers 庫的 4.28 版本：

pip install transformers==4.28

📚 詳細文檔

模型信息

你可以查看我們的交付報告、GitHub 倉庫和網站以獲取更多詳細信息。

基準測試

使用 Marian 進行解碼時，該模型在以下測試集上的得分如下：

📄 許可證

本項目採用 CC BY 4.0 許可證。

👏 致謝

本項目得到了歐盟“地平線歐洲”研究與創新計劃（資助協議編號 101070350）以及英國研究與創新署（UKRI）在英國政府“地平線歐洲”資助保障下（資助編號 10052546）的資助。

本項目由愛丁堡大學和布拉格查理大學的研究人員共同完成，並得到了整個 HPLT 聯盟的支持。