Ptt5 Base Portuguese Vocab

🚀 葡萄牙語T5 (又名 "PTT5")

PTT5是一個在BrWac語料庫上預訓練的T5模型，BrWac是一個大型的葡萄牙語網頁集合。該模型提升了T5在葡萄牙語句子相似度和蘊含任務上的性能。它有三種大小（小、基礎和大）和兩種詞彙表（谷歌T5原版詞彙表以及我們在葡萄牙語維基百科上訓練的詞彙表）可供選擇。

🚀 快速開始

若需更多信息或有相關需求，請訪問 PTT5倉庫。

✨ 主要特性

• 在BrWac語料庫上預訓練，提升葡萄牙語相關任務性能。
• 提供三種模型大小和兩種詞彙表選擇。

📦 可用模型

💻 使用示例

基礎用法

# Tokenizer 
from transformers import T5Tokenizer

# PyTorch (bare model, baremodel + language modeling head)
from transformers import T5Model, T5ForConditionalGeneration

# Tensorflow (bare model, baremodel + language modeling head)
from transformers import TFT5Model, TFT5ForConditionalGeneration

model_name = 'unicamp-dl/ptt5-base-portuguese-vocab'

tokenizer = T5Tokenizer.from_pretrained(model_name)

# PyTorch
model_pt = T5ForConditionalGeneration.from_pretrained(model_name)

# TensorFlow
model_tf = TFT5ForConditionalGeneration.from_pretrained(model_name)

📄 許可證

本項目採用MIT許可證。

📚 引用信息

如果您使用了PTT5，請引用以下文獻：

@article{ptt5_2020,
  title={PTT5: Pretraining and validating the T5 model on Brazilian Portuguese data},
  author={Carmo, Diedre and Piau, Marcos and Campiotti, Israel and Nogueira, Rodrigo and Lotufo, Roberto},
  journal={arXiv preprint arXiv:2008.09144},
  year={2020}
}