Translation Pt En T5

🚀 葡萄牙語 - 英語翻譯T5模型實現

本項目實現了使用T5模型進行葡萄牙語 - 英語翻譯任務，且可在普通硬件配置下運行。我們對分詞器和後處理環節進行了改進，提升了翻譯效果，並採用了葡萄牙語預訓練模型進行翻譯。你可以在我們的倉庫中獲取更多信息，也可以查看我們的論文。

✨ 主要特性

• 多語言支持：支持英語和葡萄牙語。
• 多數據集訓練：使用了多個數據集進行訓練，包括EMEA、ParaCrawl 99k、CAPES、Scielo、JRC - Acquis和生物醫學領域語料庫。
• 翻譯標籤：專注於翻譯任務。
• 評估指標：使用BLEU指標進行評估。

🚀 快速開始

只需按照“在Transformers中使用”的說明操作即可。在使用T5模型時，需要在輸入前添加一些詞語來定義任務。

你也可以為其創建一個管道。以下是一個使用短語 “Eu gosto de comer arroz” 的示例：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
  
tokenizer = AutoTokenizer.from_pretrained("unicamp-dl/translation-pt-en-t5")

model = AutoModelForSeq2SeqLM.from_pretrained("unicamp-dl/translation-pt-en-t5")

pten_pipeline = pipeline('text2text-generation', model=model, tokenizer=tokenizer)

pten_pipeline("translate Portuguese to English: Eu gosto de comer arroz.")

📄 引用

如果你使用了本項目的代碼或模型，請引用以下論文：

@inproceedings{lopes-etal-2020-lite,
    title = "Lite Training Strategies for {P}ortuguese-{E}nglish and {E}nglish-{P}ortuguese Translation",
    author = "Lopes, Alexandre  and
      Nogueira, Rodrigo  and
      Lotufo, Roberto  and
      Pedrini, Helio",
    booktitle = "Proceedings of the Fifth Conference on Machine Translation",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.wmt-1.90",
    pages = "833--840",
}