T5 Xxl Lm Adapt

🚀 GoogleのT5バージョン1.1 - LM適応版

GoogleのT5 バージョン1.1 - LM適応版は、転移学習における自然言語処理の性能向上に貢献するモデルです。元のT5モデルに比べていくつかの改良が施されており、プロンプトチューニングにも適しています。

🚀 クイックスタート

このモデルは、事前学習とファインチューニングを通じて、様々な自然言語処理タスクに適用できます。以下に、主な特徴や事前学習の詳細を説明します。

✨ 主な機能

改良点

T5 Version 1.1 - LM Adapted は、元の T5モデル と比較して、以下の改良点を備えています。

• フィードフォワード隠れ層でGEGLU活性化関数を使用しており、ReLUではなくなっています - こちら を参照。
• 事前学習時にドロップアウトをオフにしています（品質向上）。ファインチューニング時にはドロップアウトを再度有効にする必要があります。
• 事前学習はC4のみで行われ、下流タスクを混ぜていません。
• 埋め込み層と分類器層の間でパラメータ共有を行っていません。
• "xl" と "xxl" が "3B" と "11B" を置き換えています。モデルの形状は少し異なり、d_model が大きく、num_heads と d_ff が小さくなっています。

また、このモデルはノイズ除去と言語モデリングの両方の目的で事前学習されています。

チェックポイントの詳細

このチェックポイントは T5 Version 1.1 - XXL から初期化され、T5論文 で議論されているLM目的でさらに100Kステップ学習されています。この適応により、モデルのプロンプトチューニング能力が向上しています。

人気の微調整バージョン

T5 Version 1.1 - LM Adapted モデルの人気の微調整バージョンは BigScienceのT0pp です。

事前学習データセット

事前学習データセット: C4

その他のコミュニティチェックポイント

その他のコミュニティチェックポイント: こちら

論文

論文: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

著者

著者: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

📚 ドキュメント

概要

転移学習は、モデルをまずデータが豊富なタスクで事前学習し、その後下流タスクで微調整する手法であり、自然言語処理（NLP）において強力な技術として浮上しています。転移学習の有効性により、様々なアプローチ、方法論、実践が生まれています。この論文では、すべての言語問題をテキスト対テキスト形式に変換する統一的なフレームワークを導入することで、NLPの転移学習技術の状況を探ります。体系的な研究により、事前学習の目的、アーキテクチャ、ラベルなしデータセット、転移アプローチ、その他の要素を数十の言語理解タスクで比較します。調査から得られた洞察とスケール、新しい「Colossal Clean Crawled Corpus」を組み合わせることで、要約、質問応答、テキスト分類などの多くのベンチマークで最先端の結果を達成します。NLPの転移学習に関する将来の研究を促進するために、データセット、事前学習モデル、コードを公開しています。

モデル画像

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。