Translate Ar En V1.0 Hplt

🚀 HPLT MTリリースv1.0

このリポジトリには、HPLTデータのみを使用して訓練されたアラビア語と英語の翻訳モデルが含まれています。このモデルは、Marian形式とHugging Face形式の両方で利用可能です。

✨ 主な機能

• アラビア語と英語の翻訳モデルを提供します。
• Marian形式とHugging Face形式の両方で利用可能です。

📦 インストール

Marianを使用する場合

MarianNMTで推論を実行するには、GitHubリポジトリの推論/デコード/翻訳セクションを参照してください。このリポジトリからモデルファイルmodel.npz.best-chrf.npzと語彙ファイルmodel.ar-en.spmが必要です。

transformersを使用する場合

このモデルはHugging Face形式にも変換されており、以下のスクリプトで始めることができます。ただし、重み変換に関する既知の問題により、チェックポイントはtransformerバージョン<4.26または>4.30では動作しません。テストした結果、pip install transformers==4.28をおすすめします。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("HPLT/translate-ar-en-v1.0-hplt")
model = AutoModelForSeq2SeqLM.from_pretrained("HPLT/translate-ar-en-v1.0-hplt")

inputs = ["Input goes here.", "Make sure the language is right."]
batch_tokenized = tokenizer(inputs, return_tensors="pt", padding=True)
model_output = model.generate(
    **batch_tokenized, num_beams=6, max_new_tokens=512
)
batch_detokenized = tokenizer.batch_decode(
    model_output,
    skip_special_tokens=True,
)

print(batch_detokenized)

📚 ドキュメント

モデル情報

ベンチマーク

Marianを使用してデコードした場合、このモデルは以下のテストスコアを持ちます。

重要な注意事項

⚠️ 重要提示

品質の面から、このモデルの代わりにHPLT/translate-ar-en-v1.0-hplt_opusの使用をおすすめします。

💡 使用建议

重み変換に関する既知の問題により、transformerバージョンはpip install transformers==4.28を使用することをおすすめします。

謝辞

このプロジェクトは、欧州連合のHorizon Europe研究・イノベーションプログラムから契約番号101070350の助成を受け、また英国政府のHorizon Europe資金保証の下、UK Research and Innovation (UKRI)から[助成番号10052546]の資金提供を受けています。

エジンバラ大学とプラハのチャールズ大学の研究者によって実現され、HPLTコンソーシアム全体の支援を得ています。

📄 ライセンス

このプロジェクトはCC BY 4.0ライセンスの下で提供されています。