T5 V1 1 Base

🚀 GoogleのT5 Version 1.1

GoogleのT5 Version 1.1は、元のT5モデルに比べていくつかの改良点を備えており、自然言語処理タスクでの性能向上を目指しています。

🚀 クイックスタート

GoogleのT5 Version 1.1は、元のT5モデルに比べて以下の改善点を含んでいます。

✨ 主な機能

• フィードフォワード隠れ層でReLUではなくGEGLU活性化関数を使用 - こちらを参照。
• 事前学習時にドロップアウトをオフにした（品質向上）。微調整時にはドロップアウトを再有効にする必要があります。
• 下流タスクを混合せず、C4のみで事前学習。
• 埋め込み層と分類器層の間でパラメータ共有を行わない。
• "xl"と"xxl"が"3B"と"11B"を置き換えます。モデルの形状は少し異なり、d_modelが大きく、num_headsとd_ffが小さくなっています。

⚠️ 重要提示

T5 Version 1.1は、教師付き学習を含まず、C4のみで事前学習されています。したがって、このモデルは下流タスクで使用する前に微調整する必要があります。

事前学習データセット

C4

その他のコミュニティチェックポイント

こちら

論文

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

著者

Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

📚 ドキュメント

概要

転移学習は、モデルをまずデータが豊富なタスクで事前学習し、その後下流タスクで微調整する手法であり、自然言語処理（NLP）において強力な技術として浮上しています。転移学習の有効性により、アプローチ、方法論、および実践が多様化しています。この論文では、すべての言語問題をテキスト対テキスト形式に変換する統一的なフレームワークを導入することで、NLPの転移学習技術の状況を探ります。体系的な研究により、事前学習の目的、アーキテクチャ、ラベルなしデータセット、転移アプローチ、およびその他の要素を数十の言語理解タスクで比較します。調査から得られた洞察をスケールと新しい「Colossal Clean Crawled Corpus」と組み合わせることで、要約、質問応答、テキスト分類などの多くのベンチマークで最先端の結果を達成します。NLPの転移学習に関する将来の研究を促進するために、データセット、事前学習モデル、およびコードを公開します。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。