T5 Small Lm Adapt

🚀 [GoogleのT5（バージョン1.1 - LMアダプト）]

GoogleのT5 バージョン1.1 - LMアダプトモデルは、自然言語処理の分野で強力な能力を発揮します。このモデルは、元のT5モデルを多面的に改良し、様々な下流タスクにより適したものになっています。

✨ 主な機能

T5バージョン1.1 - LMアダプト は、元の T5モデル と比較して、以下のような改良があります。

• フィードフォワード隠れ層にはReLUではなくGEGLU活性化関数を使用しています - 詳細は こちら を参照。
• 事前学習段階ではDropoutを無効にしています（品質向上）。微調整段階ではDropoutを再度有効にする必要があります。
• 事前学習はC4データセットのみで行われ、下流タスクのデータは混入されていません。
• 埋め込み層と分類器層の間でパラメータを共有していません。
• "3B" と "11B" の代わりに "xl" と "xxl" を使用しています。モデルの形状は若干異なり、d_model が大きく、num_heads と d_ff が小さくなっています。

このモデルは、ノイズ除去と言語モデリングの目標で事前学習されています。具体的には、このチェックポイントは T5バージョン1.1 - 小型 から初期化され、T5論文 で議論されている言語モデリングの目標でさらに100Kステップ学習されています。このアダプテーションにより、モデルのプロンプトチューニング能力が向上しています。

注意：T5バージョン1.1 - LMアダプト モデルの人気のある微調整バージョンの1つは BigScienceのT0pp です。

📚 ドキュメント

事前学習データセット

C4

その他のコミュニティチェックポイント

こちら

論文

使用统一的文本到文本Transformer探索迁移学习的极限

著者

Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

概要

転移学習は、自然言語処理（NLP）における強力な技術であり、データが豊富なタスクでモデルを事前学習し、その後下流タスクで微調整する手法です。転移学習の有効性により、様々な方法、方法論、実践が生まれています。この論文では、すべての言語問題をテキストからテキストへの形式に変換する統一的なフレームワークを導入することで、NLPの転移学習技術の状況を調査しています。我々の体系的な研究では、数十の言語理解タスクで事前学習の目標、アーキテクチャ、無ラベルデータセット、転移方法、その他の要素を比較しています。我々の調査結果を規模と新しい「巨大でクリーンなクロールコーパス」と組み合わせることで、要約、質問応答、テキスト分類などの複数のベンチマークで最先端の結果を達成しています。将来のNLP転移学習の研究を促進するために、我々はデータセット、事前学習モデル、コードを公開しています。

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で提供されています。