Ptt5 Large T5 Vocab

🚀 葡萄牙语T5（又名“PTT5”）

PTT5是一个在葡萄牙语网页的大型集合BrWac语料库上进行预训练的T5模型，它提升了T5在葡萄牙语句子相似度和蕴含任务上的性能。该模型有三种规模（小、基础和大）以及两种词表（谷歌T5的原始词表和我们在葡萄牙语维基百科上训练的词表）可供选择。

🚀 快速开始

若需更多信息或有相关请求，请访问 PTT5代码仓库。

✨ 主要特性

• 在BrWac语料库上预训练，提升了在葡萄牙语相关任务上的性能。
• 提供三种不同规模和两种词表的选择。

📦 可用模型

💻 使用示例

基础用法

# Tokenizer 
from transformers import T5Tokenizer

# PyTorch (bare model, baremodel + language modeling head)
from transformers import T5Model, T5ForConditionalGeneration

# Tensorflow (bare model, baremodel + language modeling head)
from transformers import TFT5Model, TFT5ForConditionalGeneration

model_name = 'unicamp-dl/ptt5-base-portuguese-vocab'

tokenizer = T5Tokenizer.from_pretrained(model_name)

# PyTorch
model_pt = T5ForConditionalGeneration.from_pretrained(model_name)

# TensorFlow
model_tf = TFT5ForConditionalGeneration.from_pretrained(model_name)

📄 许可证

本项目采用MIT许可证。

📚 引用信息

如果您使用了PTT5，请引用以下文献：

@article{ptt5_2020,
  title={PTT5: Pretraining and validating the T5 model on Brazilian Portuguese data},
  author={Carmo, Diedre and Piau, Marcos and Campiotti, Israel and Nogueira, Rodrigo and Lotufo, Roberto},
  journal={arXiv preprint arXiv:2008.09144},
  year={2020}
}