T5 V1 1 Large

🚀 [Google's T5 Version 1.1]

GoogleのT5 Version 1.1は、元のT5モデルに比べていくつかの改善点を備えています。このモデルは自然言語処理タスクにおける転移学習の能力を向上させ、多くのベンチマークで最先端の結果を達成します。

🚀 クイックスタート

このモデルはC4データセットのみを使用して事前学習されており、下流タスクで使用する前にファインチューニングが必要です。

✨ 主な機能

• GEGLU活性化関数：フィードフォワード隠れ層でReLUではなくGEGLU活性化関数を使用。詳細はこちら。
• 事前学習時のドロップアウトオフ：事前学習時にドロップアウトをオフにして品質を向上。ファインチューニング時には再度有効にする必要があります。
• C4のみでの事前学習：下流タスクを混合せず、C4データセットのみで事前学習。
• 埋め込み層と分類器層のパラメータ共有なし：埋め込み層と分類器層の間でパラメータを共有しません。
• モデル形状の変更："xl"と"xxl"が"3B"と"11B"に代わり、d_modelが大きく、num_headsとd_ffが小さくなっています。

📚 ドキュメント

事前学習データセット

T5 Version 1.1 は C4 データセットのみを使用して事前学習されています。

その他のコミュニティチェックポイント

他のコミュニティチェックポイントは こちら で確認できます。

論文

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

著者

Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

概要

転移学習は、モデルをまずデータが豊富なタスクで事前学習し、その後下流タスクでファインチューニングする手法として、自然言語処理（NLP）において強力な技術として浮上しています。転移学習の有効性により、アプローチ、方法論、および実践が多様化しています。この論文では、すべての言語問題をテキストからテキストへの形式に変換する統一的なフレームワークを導入することで、NLPの転移学習技術の状況を探ります。我々の体系的な研究では、数十の言語理解タスクにおいて、事前学習の目的、アーキテクチャ、ラベルなしデータセット、転移アプローチ、およびその他の要素を比較しています。我々の調査から得られた洞察を規模と新しい「Colossal Clean Crawled Corpus」と組み合わせることで、要約、質問応答、テキスト分類などの多くのベンチマークで最先端の結果を達成しています。NLPの転移学習に関する将来の研究を促進するために、データセット、事前学習モデル、およびコードを公開しています。

📄 ライセンス

このモデルは Apache 2.0 ライセンスの下で提供されています。