T5 V1 1 Xl

🚀 [Google's T5]

Googleが開発したT5モデルのVersion 1.1は、元のT5モデルに比べていくつかの改良が施されており、自然言語処理タスクでの性能向上が期待されます。

🚀 クイックスタート

このセクションでは、Google's T5 Version 1.1の概要と特徴について説明します。

概要

Google's T5 Version 1.1 は、元のT5モデルに比べていくつかの改良点を持っています。

改良点

• T5 Version 1.1 は、元のT5モデルと比較して以下の改善点があります。
  • フィードフォワード隠れ層ではReLUではなくGEGLU活性化関数を使用しています - こちら を参照。
  • 事前学習時にドロップアウトをオフにしています（品質向上）。微調整時にはドロップアウトを再度有効にする必要があります。
  • 下流タスクを混入せずにC4のみで事前学習されています。
  • 埋め込み層と分類器層の間でパラメータ共有を行っていません。
  • "xl" と "xxl" が "3B" と "11B" を置き換えています。モデルの形状は少し異なり、d_model が大きく、num_heads と d_ff が小さくなっています。

注意: T5 Version 1.1は、教師あり学習を含まずC4のみで事前学習されています。したがって、このモデルは下流タスクで使用する前に微調整する必要があります。 事前学習データセット: C4 他のコミュニティチェックポイント: こちら 論文: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 著者: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

📚 ドキュメント

概要

転移学習は、モデルをまずデータが豊富なタスクで事前学習し、その後下流タスクで微調整する手法であり、自然言語処理（NLP）において強力な技術として登場しています。転移学習の有効性により、様々なアプローチ、方法論、および実践が生まれています。この論文では、すべての言語問題をテキスト対テキスト形式に変換する統一的なフレームワークを導入することで、NLPの転移学習技術の領域を探索します。

研究内容

• 我々の体系的な研究では、事前学習の目的、アーキテクチャ、ラベルなしデータセット、転移アプローチ、およびその他の要素を数十の言語理解タスクで比較しています。
• 我々の探索から得られた洞察を規模と新しい「Colossal Clean Crawled Corpus」と組み合わせることで、要約、質問応答、テキスト分類などの多くのベンチマークで最先端の結果を達成しています。
• NLPの転移学習に関する将来の研究を促進するために、データセット、事前学習モデル、およびコードを公開しています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。