T5 3b

🚀 T5-3B モデルカード

このモデルは、様々な自然言語処理タスクを統一的なテキスト対テキスト形式で扱うことができ、30億のパラメータを持つ強力な言語モデルです。

🚀 クイックスタート

このモデルの使い始め方については、Hugging Face T5 のドキュメントと、モデル開発者によって作成された Colab Notebook を参照してください。

✨ 主な機能

このモデルは、機械翻訳、文書要約、質問応答、分類タスク（例：感情分析）など、あらゆる自然言語処理タスクに同じモデル、損失関数、ハイパーパラメータを使用することができます。また、数値の文字列表現を予測するように訓練することで、回帰タスクにも適用できます。

📦 インストール

READMEにインストール手順に関する具体的な内容が記載されていないため、このセクションをスキップします。

💻 使用例

READMEにコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

モデルの詳細

モデルの説明

Text-To-Text Transfer Transformer (T5) の開発者は、こちら で以下のように述べています。

T5では、すべての自然言語処理タスクを、入力と出力が常にテキスト文字列である統一的なテキスト対テキスト形式に再構築することを提案しています。これは、クラスラベルまたは入力のスパンのみを出力できるBERTスタイルのモデルとは対照的です。私たちのテキスト対テキストフレームワークにより、任意の自然言語処理タスクで同じモデル、損失関数、ハイパーパラメータを使用することができます。

T5-3Bは、30億のパラメータを持つチェックポイントです。

• 開発者: Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li、Peter J. Liu。詳細は 関連論文 と GitHubリポジトリ を参照してください。
• モデルの種類: 言語モデル
• 言語: 英語、フランス語、ルーマニア語、ドイツ語
• ライセンス: Apache 2.0
• 関連モデル: すべてのT5チェックポイント
• 詳細情報のリソース:
  • 研究論文
  • GoogleのT5ブログ記事
  • GitHubリポジトリ
  • Hugging Face T5ドキュメント

用途

直接的な使用と下流の使用

開発者は ブログ記事 で、このモデルについて以下のように述べています。

私たちのテキスト対テキストフレームワークにより、機械翻訳、文書要約、質問応答、分類タスク（例：感情分析）など、あらゆる自然言語処理タスクで同じモデル、損失関数、ハイパーパラメータを使用することができます。また、数値の文字列表現を予測するように訓練することで、回帰タスクにも適用できます。

詳細については、ブログ記事 と 研究論文 を参照してください。

範囲外の使用

詳細情報が必要です。

バイアス、リスク、および制限

詳細情報が必要です。

推奨事項

詳細情報が必要です。

訓練の詳細

訓練データ

このモデルは、Colossal Clean Crawled Corpus (C4) で事前学習されています。このデータセットは、T5と同じ 研究論文 の文脈で開発および公開されました。

このモデルは、教師なし（1.）と教師ありタスク（2.）のマルチタスク混合 で事前学習されています。 この際、(1.) と (2.) には以下のデータセットが使用されました。

1. 教師なしデノイジング目的で使用されるデータセット

• C4
• Wiki-DPR

2. 教師ありテキスト対テキスト言語モデリング目的で使用されるデータセット

• 文の受容性判断
  • CoLA Warstadt et al., 2018
• 感情分析
  • SST-2 Socher et al., 2013
• 言い換え/文の類似性
  • MRPC Dolan and Brockett, 2005
  • STS-B Ceret al., 2017
  • QQP Iyer et al., 2017
• 自然言語推論
  • MNLI Williams et al., 2017
  • QNLI Rajpurkar et al.,2016
  • RTE Dagan et al., 2005
  • CB De Marneff et al., 2019
• 文の完成
  • COPA Roemmele et al., 2011
• 語義曖昧性解消
  • WIC Pilehvar and Camacho-Collados, 2018
• 質問応答
  • MultiRC Khashabi et al., 2018
  • ReCoRD Zhang et al., 2018
  • BoolQ Clark et al., 2019

訓練手順

モデル開発者は、概要 で以下のように述べています。

この論文では、すべての言語問題をテキスト対テキスト形式に変換する統一的なフレームワークを導入することで、自然言語処理の転移学習技術の領域を探求します。私たちの体系的な研究では、事前学習の目的、アーキテクチャ、ラベルなしデータセット、転移アプローチ、およびその他の要因を、数十の言語理解タスクで比較しています。

導入されたフレームワークであるT5フレームワークには、論文で研究されたアプローチを統合した訓練手順が含まれています。詳細については、研究論文 を参照してください。

評価

テストデータ、要因、および指標

開発者は、24のタスクでモデルを評価しました。詳細については、研究論文 を参照してください。

結果

T5-3Bの完全な結果については、研究論文 の表14を参照してください。

環境への影響

炭素排出量は、Lacoste et al. (2019) で提示された Machine Learning Impact calculator を使用して推定できます。

• ハードウェアの種類: Google Cloud TPU Pods
• 使用時間: 詳細情報が必要です。
• クラウドプロバイダー: GCP
• コンピュートリージョン: 詳細情報が必要です。
• 排出された炭素量: 詳細情報が必要です。

引用

BibTeX:

@article{2020t5,
  author  = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title   = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {Journal of Machine Learning Research},
  year    = {2020},
  volume  = {21},
  number  = {140},
  pages   = {1-67},
  url     = {http://jmlr.org/papers/v21/20-074.html}
}

APA:

• Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.

モデルカードの作成者

このモデルカードは、Hugging Faceのチームによって作成されました。

🔧 技術詳細

READMEに具体的な技術説明が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。