Ptt5 Large T5 Vocab

🚀 ポルトガル語T5（別名「PTT5」）

PTT5は、ポルトガル語のウェブページの大規模コレクションであるBrWacコーパスで事前学習されたT5モデルです。このモデルは、ポルトガル語の文の類似度と含意タスクにおけるT5の性能を向上させます。モデルには3種類の規模（小、ベース、大）と2種類の語彙（Google T5の元の語彙と、ポルトガル語のウィキペディアで学習した語彙）が用意されています。

🚀 クイックスタート

詳細情報が必要な場合や関連するリクエストがある場合は、PTT5のコードリポジトリをご覧ください。

✨ 主な機能

• BrWacコーパスで事前学習されており、ポルトガル語関連のタスクでの性能が向上しています。
• 3種類の異なる規模と2種類の語彙から選択できます。

📦 利用可能なモデル

💻 使用例

基本的な使用法

# Tokenizer 
from transformers import T5Tokenizer

# PyTorch (bare model, baremodel + language modeling head)
from transformers import T5Model, T5ForConditionalGeneration

# Tensorflow (bare model, baremodel + language modeling head)
from transformers import TFT5Model, TFT5ForConditionalGeneration

model_name = 'unicamp-dl/ptt5-base-portuguese-vocab'

tokenizer = T5Tokenizer.from_pretrained(model_name)

# PyTorch
model_pt = T5ForConditionalGeneration.from_pretrained(model_name)

# TensorFlow
model_tf = TFT5ForConditionalGeneration.from_pretrained(model_name)

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

📚 引用情報

PTT5を使用した場合は、以下の文献を引用してください。

@article{ptt5_2020,
  title={PTT5: Pretraining and validating the T5 model on Brazilian Portuguese data},
  author={Carmo, Diedre and Piau, Marcos and Campiotti, Israel and Nogueira, Rodrigo and Lotufo, Roberto},
  journal={arXiv preprint arXiv:2008.09144},
  year={2020}
}