Translation En Pt T5

🚀 T5を用いた英語 - ポルトガル語翻訳実装

このリポジトリは、適度なハードウェア環境で英語 - ポルトガル語の翻訳タスクにT5を実装したものです。トークナイザーと後処理にいくつかの変更を加えることで結果を向上させ、ポルトガル語の事前学習モデルを翻訳に使用しています。詳細な情報は当社のリポジトリで確認できます。また、当社の論文もご覧ください。

🚀 クイックスタート

「Transformersでの使用」の指示に従ってください。T5にタスクを定義するために、いくつかの単語を追加する必要があります。

また、パイプラインを作成することもできます。「I like to eat rice」というフレーズの例を以下に示します。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
  
tokenizer = AutoTokenizer.from_pretrained("unicamp-dl/translation-en-pt-t5")

model = AutoModelForSeq2SeqLM.from_pretrained("unicamp-dl/translation-en-pt-t5")

enpt_pipeline = pipeline('text2text-generation', model=model, tokenizer=tokenizer)

enpt_pipeline("translate English to Portuguese: I like to eat rice.")

📚 ドキュメント

言語

データセット

タグ

評価指標

📄 引用

@inproceedings{lopes-etal-2020-lite,
    title = "Lite Training Strategies for {P}ortuguese-{E}nglish and {E}nglish-{P}ortuguese Translation",
    author = "Lopes, Alexandre  and
      Nogueira, Rodrigo  and
      Lotufo, Roberto  and
      Pedrini, Helio",
    booktitle = "Proceedings of the Fifth Conference on Machine Translation",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.wmt-1.90",
    pages = "833--840",
}