Mbart Large 50 Many To Many Mmt

🚀 mBART - 50 多對多多語言機器翻譯

mBART - 50 是一個強大的多語言機器翻譯模型，它能夠在 50 種語言之間直接進行翻譯，為跨語言交流提供了高效的解決方案。

🚀 快速開始

本模型是 mBART - large - 50 的微調版本。mbart-large-50-many-to-many-mmt 針對多語言機器翻譯進行了微調，其相關研究在 Multilingual Translation with Extensible Multilingual Pretraining and Finetuning 論文中被提出。

該模型可以在任意 50 種語言對之間直接進行翻譯。若要將內容翻譯成目標語言，需要將目標語言 ID 作為首個生成的標記。可通過向 generate 方法傳遞 forced_bos_token_id 參數來實現這一操作。

💻 使用示例

基礎用法

from transformers import MBartForConditionalGeneration, MBart50TokenizerFast

article_hi = "संयुक्त राष्ट्र के प्रमुख का कहना है कि सीरिया में कोई सैन्य समाधान नहीं है"
article_ar = "الأمين العام للأمم المتحدة يقول إنه لا يوجد حل عسكري في سوريا."

model = MBartForConditionalGeneration.from_pretrained("facebook/mbart-large-50-many-to-many-mmt")
tokenizer = MBart50TokenizerFast.from_pretrained("facebook/mbart-large-50-many-to-many-mmt")

# translate Hindi to French
tokenizer.src_lang = "hi_IN"
encoded_hi = tokenizer(article_hi, return_tensors="pt")
generated_tokens = model.generate(
    **encoded_hi,
    forced_bos_token_id=tokenizer.lang_code_to_id["fr_XX"]
)
tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
# => "Le chef de l 'ONU affirme qu 'il n 'y a pas de solution militaire dans la Syrie."

# translate Arabic to English
tokenizer.src_lang = "ar_AR"
encoded_ar = tokenizer(article_ar, return_tensors="pt")
generated_tokens = model.generate(
    **encoded_ar,
    forced_bos_token_id=tokenizer.lang_code_to_id["en_XX"]
)
tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
# => "The Secretary-General of the United Nations says there is no military solution in Syria."

📚 詳細文檔

可前往 模型中心 查找更多微調版本。

📋 支持語言

📖 引用信息

@article{tang2020multilingual,
    title={Multilingual Translation with Extensible Multilingual Pretraining and Finetuning},
    author={Yuqing Tang and Chau Tran and Xian Li and Peng-Jen Chen and Naman Goyal and Vishrav Chaudhary and Jiatao Gu and Angela Fan},
    year={2020},
    eprint={2008.00401},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}