T5 Xl Lm Adapt

🚀 [GoogleのT5（バージョン1.1 - LM適合）]

GoogleのT5バージョン1.1 - LM適合モデルは、元のT5モデルに基づいて複数の改良を行い、さまざまな自然言語処理タスクに適用でき、モデルのプロンプトチューニング能力を向上させました。

🚀 クイックスタート

このプロジェクトでは、GoogleのT5 バージョン1.1 - LM適合モデルに関する情報を紹介しています。

✨ 主な機能

元のT5モデルと比較した改良点

T5バージョン1.1 - LM適合 は、元の T5モデル と比較して、以下の改良点があります。

• フィードフォワード隠れ層では、ReLUではなくGEGLU活性化関数を使用しています。詳細は こちら を参照してください。
• 事前学習時にはDropoutをオフにしています（品質が向上します）。微調整時にはDropoutを再度有効にする必要があります。
• C4データセットのみで事前学習を行っており、下流タスクを混入していません。
• 埋め込み層と分類器層の間でパラメータを共有していません。
• “3B” と “11B” の代わりに “xl” と “xxl” を使用しています。モデルの形状は若干異なり、d_model が大きく、num_heads と d_ff が小さくなっています。

また、このモデルはノイズ除去と言語モデリングの目的で事前学習されています。

モデルの初期化と学習

このチェックポイントは T5バージョン1.1 - XL から初期化され、T5論文 で議論されている言語モデリングの目的でさらに100Kステップ学習されました。この適合により、モデルのプロンプトチューニング能力が向上しました。

人気の微調整バージョン

T5バージョン1.1 - LM適合 モデルの人気の微調整バージョンの1つは BigScienceのT0pp です。

📚 ドキュメント

事前学習データセット

C4

その他のコミュニティチェックポイント

こちら

関連論文

通過統一的文本到文本轉換器探索遷移學習的極限

著者

Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

概要

転移学習は強力な自然言語処理（NLP）技術であり、データが豊富なタスクでモデルを事前学習し、その後下流タスクで微調整します。転移学習の有効性により、さまざまな方法、手法、実践が生まれています。この論文では、すべての言語問題をテキストからテキストへの形式に変換する統一的なフレームワークを導入することで、NLP転移学習技術の領域を探索しました。私たちの体系的な研究では、数十の言語理解タスクで事前学習の目的、アーキテクチャ、無ラベルデータセット、転移方法、その他の要素を比較しました。私たちの探索結果を規模と新しい「巨大なクリーンなクロールコーパス」と組み合わせることで、要約、質問応答、テキスト分類などを含む多くのベンチマークで最先端の結果を達成しました。将来のNLP転移学習の研究を促進するために、データセット、事前学習モデル、コードを公開しています。

モデル画像

📄 ライセンス

このプロジェクトは Apache 2.0ライセンス を採用しています。