T5 Large

🚀 T5 Largeモデルカード

Text-To-Text Transfer Transformer (T5) の大規模モデルで、様々な自然言語処理タスクに対応。

🚀 クイックスタート

以下のコードを使用して、モデルを始めることができます。

from transformers import T5Tokenizer, T5Model

tokenizer = T5Tokenizer.from_pretrained("t5-large")
model = T5Model.from_pretrained("t5-large")

input_ids = tokenizer(
    "Studies have been shown that owning a dog is good for you", return_tensors="pt"
).input_ids  # Batch size 1
decoder_input_ids = tokenizer("Studies show that", return_tensors="pt").input_ids  # Batch size 1

# forward pass
outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids)
last_hidden_states = outputs.last_hidden_state

✨ 主な機能

Text-To-Text Transfer Transformer (T5) の開発者は、こちら で述べています。

T5では、すべての自然言語処理タスクを統一されたテキスト対テキスト形式に再構築することを提案しています。この形式では、入力と出力は常にテキスト文字列であり、クラスラベルまたは入力のスパンのみを出力できるBERTスタイルのモデルとは対照的です。私たちのテキスト対テキストフレームワークにより、任意の自然言語処理タスクで同じモデル、損失関数、およびハイパーパラメータを使用することができます。

T5-Largeは、7億7000万個のパラメータを持つチェックポイントです。

• 開発者: Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li、Peter J. Liu。詳細は 関連論文 と GitHubリポジトリ を参照してください。
• モデルタイプ: 言語モデル
• 言語 (自然言語処理): 英語、フランス語、ルーマニア語、ドイツ語
• ライセンス: Apache 2.0
• 関連モデル: すべてのT5チェックポイント
• 詳細情報のリソース:
  • 研究論文
  • GoogleのT5ブログ記事
  • GitHubリポジトリ
  • Hugging Face T5ドキュメント

📦 インストール

このセクションでは、インストールに関する具体的な手順が提供されていません。

💻 使用例

基本的な使用法

from transformers import T5Tokenizer, T5Model

tokenizer = T5Tokenizer.from_pretrained("t5-large")
model = T5Model.from_pretrained("t5-large")

input_ids = tokenizer(
    "Studies have been shown that owning a dog is good for you", return_tensors="pt"
).input_ids  # Batch size 1
decoder_input_ids = tokenizer("Studies show that", return_tensors="pt").input_ids  # Batch size 1

# forward pass
outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids)
last_hidden_states = outputs.last_hidden_state

高度な使用法

高度な使用法のコード例は提供されていません。

📚 ドキュメント

直接利用と下流利用

開発者は ブログ記事 で、このモデルについて以下のように書いています。

私たちのテキスト対テキストフレームワークにより、機械翻訳、文書要約、質問応答、分類タスク（例：感情分析）など、任意の自然言語処理タスクで同じモデル、損失関数、およびハイパーパラメータを使用することができます。数値そのものではなく数値の文字列表現を予測するようにモデルを訓練することで、回帰タスクにもT5を適用することができます。

詳細については、ブログ記事 と 研究論文 を参照してください。

範囲外の利用

詳細情報は必要です。

バイアス、リスク、および制限

詳細情報は必要です。

推奨事項

詳細情報は必要です。

訓練の詳細

訓練データ

このモデルは、Colossal Clean Crawled Corpus (C4) で事前学習されています。このデータセットは、T5と同じ 研究論文 の文脈で開発および公開されました。

このモデルは、教師なし (1.) および教師ありタスク (2.) のマルチタスク混合 で事前学習されました。 この際、(1.) と (2.) には以下のデータセットが使用されました。

1. 教師なしノイズ除去目的で使用されるデータセット:

• C4
• Wiki-DPR

2. 教師ありテキスト対テキスト言語モデリング目的で使用されるデータセット

• 文の受容性判断
  • CoLA Warstadt et al., 2018
• 感情分析
  • SST-2 Socher et al., 2013
• 言い換え/文の類似性
  • MRPC Dolan and Brockett, 2005
  • STS-B Ceret al., 2017
  • QQP Iyer et al., 2017
• 自然言語推論
  • MNLI Williams et al., 2017
  • QNLI Rajpurkar et al.,2016
  • RTE Dagan et al., 2005
  • CB De Marneff et al., 2019
• 文の完成
  • COPA Roemmele et al., 2011
• 単語の意味曖昧性解消
  • WIC Pilehvar and Camacho-Collados, 2018
• 質問応答
  • MultiRC Khashabi et al., 2018
  • ReCoRD Zhang et al., 2018
  • BoolQ Clark et al., 2019

訓練手順

モデル開発者は 概要 で、以下のように書いています。

この論文では、すべての言語問題をテキスト対テキスト形式に変換する統一されたフレームワークを導入することで、自然言語処理の転移学習技術の可能性を探求します。私たちの体系的な研究では、数十の言語理解タスクにおいて、事前学習の目的、アーキテクチャ、ラベルのないデータセット、転移アプローチ、およびその他の要素を比較しています。

導入されたフレームワークであるT5フレームワークは、論文で研究されたアプローチを統合した訓練手順を含んでいます。詳細については、研究論文 を参照してください。

評価

テストデータ、要因、および指標

開発者は、24のタスクでモデルを評価しました。詳細については、研究論文 を参照してください。

結果

T5-Largeの完全な結果については、研究論文 の表14を参照してください。

環境への影響

炭素排出量は、Lacoste et al. (2019) で提示された Machine Learning Impact calculator を使用して推定することができます。

• ハードウェアタイプ: Google Cloud TPU Pods
• 使用時間: 詳細情報は必要です
• クラウドプロバイダー: GCP
• コンピュートリージョン: 詳細情報は必要です
• 排出された炭素量: 詳細情報は必要です

引用

BibTeX:

@article{2020t5,
  author  = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title   = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {Journal of Machine Learning Research},
  year    = {2020},
  volume  = {21},
  number  = {140},
  pages   = {1-67},
  url     = {http://jmlr.org/papers/v21/20-074.html}
}

APA:

• Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.

モデルカードの作成者

このモデルカードは、Hugging Faceのチームによって作成されました。

🔧 技術詳細

このセクションでは、具体的な技術詳細が提供されていません。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。