T5 Small

🚀 T5 Small モデルカード

このモデルは、テキスト生成や翻訳、要約などの自然言語処理タスクに使用できるT5 Smallモデルの詳細情報を提供します。

🚀 クイックスタート

以下のコードを使用して、モデルを始めることができます。

from transformers import T5Tokenizer, T5Model

tokenizer = T5Tokenizer.from_pretrained("t5-small")
model = T5Model.from_pretrained("t5-small")

input_ids = tokenizer(
    "Studies have been shown that owning a dog is good for you", return_tensors="pt"
).input_ids  # Batch size 1
decoder_input_ids = tokenizer("Studies show that", return_tensors="pt").input_ids  # Batch size 1

# forward pass
outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids)
last_hidden_states = outputs.last_hidden_state

✨ 主な機能

モデルの概要

Text-To-Text Transfer Transformer (T5) の開発者は、こちら で次のように述べています。

T5では、すべての自然言語処理タスクを、入力と出力が常にテキスト文字列である統一されたテキスト対テキスト形式に再構築することを提案しています。これは、クラスラベルまたは入力のスパンのみを出力できるBERTスタイルのモデルとは対照的です。私たちのテキスト対テキストフレームワークにより、任意の自然言語処理タスクで同じモデル、損失関数、およびハイパーパラメータを使用することができます。

T5-Smallは、6000万のパラメータを持つチェックポイントです。

モデルの詳細情報

用途

開発者は ブログ記事 で、このモデルが以下のような自然言語処理タスクに使用できると述べています。

私たちのテキスト対テキストフレームワークにより、機械翻訳、文書要約、質問応答、分類タスク（例：感情分析）などの任意の自然言語処理タスクで同じモデル、損失関数、およびハイパーパラメータを使用することができます。さらに、T5を回帰タスクに適用することもできます。具体的には、数値そのものではなく数値の文字列表現を予測するように学習させることができます。

詳細については、ブログ記事 と 研究論文 を参照してください。

📦 インストール

このセクションでは、モデルのインストールに関する具体的な手順やコマンドが提供されていません。

💻 使用例

基本的な使用法

from transformers import T5Tokenizer, T5Model

tokenizer = T5Tokenizer.from_pretrained("t5-small")
model = T5Model.from_pretrained("t5-small")

input_ids = tokenizer(
    "Studies have been shown that owning a dog is good for you", return_tensors="pt"
).input_ids  # Batch size 1
decoder_input_ids = tokenizer("Studies show that", return_tensors="pt").input_ids  # Batch size 1

# forward pass
outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids)
last_hidden_states = outputs.last_hidden_state

高度な使用法

高度な使用法に関する具体的なコード例や説明は提供されていません。

📚 ドキュメント

訓練データ

このモデルは、Colossal Clean Crawled Corpus (C4) で事前学習されています。このデータセットは、T5と同じ 研究論文 の文脈で開発および公開されました。

モデルは、教師なし(1.) と教師ありタスク(2.) のマルチタスク混合 で事前学習されています。 この際、(1.) と (2.) には以下のデータセットが使用されています。

1. 教師なしデノイジング目的で使用されるデータセット

   • C4
   • Wiki-DPR

2. 教師ありテキスト対テキスト言語モデリング目的で使用されるデータセット

   • 文の妥当性判断
     • CoLA Warstadt et al., 2018
   • 感情分析
     • SST-2 Socher et al., 2013
   • 言い換え/文の類似性
     • MRPC Dolan and Brockett, 2005
     • STS-B Ceret al., 2017
     • QQP Iyer et al., 2017
   • 自然言語推論
     • MNLI Williams et al., 2017
     • QNLI Rajpurkar et al.,2016
     • RTE Dagan et al., 2005
     • CB De Marneff et al., 2019
   • 文の完成
     • COPA Roemmele et al., 2011
   • 単語の意味曖昧性解消
     • WIC Pilehvar and Camacho-Collados, 2018
   • 質問応答
     • MultiRC Khashabi et al., 2018
     • ReCoRD Zhang et al., 2018
     • BoolQ Clark et al., 2019

訓練手順

モデル開発者は 概要 で次のように述べています。

この論文では、すべての言語問題をテキスト対テキスト形式に変換する統一されたフレームワークを導入することで、自然言語処理の転移学習技術の可能性を探求しています。私たちの体系的な研究では、事前学習の目的、アーキテクチャ、ラベルなしデータセット、転移アプローチ、およびその他の要因を数十の言語理解タスクで比較しています。

導入されたフレームワークであるT5フレームワークには、論文で研究されたアプローチを統合した訓練手順が含まれています。詳細については、研究論文 を参照してください。

評価

テストデータ、要因、メトリクス

開発者は、24のタスクでモデルを評価しました。詳細については、研究論文 を参照してください。

結果

T5-smallの完全な結果については、研究論文 の表14を参照してください。

環境への影響

炭素排出量は、Lacoste et al. (2019) で提示された Machine Learning Impact calculator を使用して推定できます。

🔧 技術詳細

このセクションでは、具体的な技術的な詳細が提供されていません。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

引用

BibTeX

@article{2020t5,
  author  = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title   = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {Journal of Machine Learning Research},
  year    = {2020},
  volume  = {21},
  number  = {140},
  pages   = {1-67},
  url     = {http://jmlr.org/papers/v21/20-074.html}
}

APA

• Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.

モデルカードの作成者

このモデルカードは、Hugging Faceのチームによって作成されました。