Ptt5 V2 Base

🚀 ptt5-v2-base

ptt5-v2モデルは、ポルトガル語用に特化した事前学習済みT5モデルです。Googleの元のチェックポイント（t5-smallからt5-3Bまでのサイズ）から続けて学習されています。これらのチェックポイントは、ポルトガル語用のMonoT5リランカーの学習に使用されており、それらはHuggingFaceコレクションで見つけることができます。事前学習プロセスの詳細については、当社の論文ptt5-v2: A Closer Look at Continued Pretraining of T5 Models for the Portuguese Languageを参照してください。

📦 インストール

このセクションでは、モデルを使用するための依存関係のインストールについて説明します。ただし、元のドキュメントに具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("unicamp-dl/ptt5-v2-base")
model = T5ForConditionalGeneration.from_pretrained("unicamp-dl/ptt5-v2-base")

📚 ドキュメント

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

📖 引用

もしあなたが当社のモデルを使用する場合は、以下を引用してください。

@article{piau2024ptt5v2,
      title={ptt5-v2: A Closer Look at Continued Pretraining of T5 Models for the Portuguese Language}, 
      author={Marcos Piau and Roberto Lotufo and Rodrigo Nogueira},
      year={2024},
      eprint={2406.10806},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}