Translation En Pt T5

🚀 英文到葡萄牙語翻譯T5模型實現

本項目實現了使用T5模型進行英文到葡萄牙語的翻譯任務，僅需普通的硬件配置即可運行。我們對分詞器和後處理步驟進行了改進，提升了翻譯效果，並使用了葡萄牙語預訓練模型進行翻譯。你可以在 我們的倉庫 中獲取更多信息。此外，歡迎查閱 我們的論文！

✨ 主要特性

• 語言支持：支持英文（en）和葡萄牙語（pt）。
• 數據集：使用了多個數據集進行訓練，包括 EMEA、ParaCrawl 99k、CAPES、Scielo、JRC - Acquis 和生物醫學領域語料庫。
• 標籤：專注於翻譯任務。
• 評估指標：使用 BLEU 指標評估翻譯質量。

🚀 快速開始

按照“在Transformers中使用”的說明進行操作。需要在輸入前添加一些詞語來定義T5的任務。你也可以為其創建一個管道。以下是將短語 “I like to eat rice” 進行翻譯的示例：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
  
tokenizer = AutoTokenizer.from_pretrained("unicamp-dl/translation-en-pt-t5")

model = AutoModelForSeq2SeqLM.from_pretrained("unicamp-dl/translation-en-pt-t5")

enpt_pipeline = pipeline('text2text-generation', model=model, tokenizer=tokenizer)

enpt_pipeline("translate English to Portuguese: I like to eat rice.")

📄 許可證

引用

如果您使用了本項目的代碼或模型，請引用以下論文：

@inproceedings{lopes-etal-2020-lite,
    title = "Lite Training Strategies for {P}ortuguese-{E}nglish and {E}nglish-{P}ortuguese Translation",
    author = "Lopes, Alexandre  and
      Nogueira, Rodrigo  and
      Lotufo, Roberto  and
      Pedrini, Helio",
    booktitle = "Proceedings of the Fifth Conference on Machine Translation",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.wmt-1.90",
    pages = "833--840",
}