T5 Efficient Xl

🚀 T5-Efficient-XL (Deep-Narrow version)

T5-Efficient-XLは、GoogleのオリジナルT5に基づき、T5モデルアーキテクチャに従ったバリエーションです。これは事前学習のみのチェックポイントであり、Yi Tay, Mostafa Dehghani, Jinfeng Rao, William Fedus, Samira Abnar, Hyung Won Chung, Sharan Narang, Dani Yogatama, Ashish Vaswani, Donald Metzlerによる論文**Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers**とともに公開されました。

一言で言えば、この論文は、同じパラメータ数の他のモデルアーキテクチャと比較して、Deep-Narrowモデルアーキテクチャが下流タスクのパフォーマンスに有利であることを示しています。

論文から引用すると、

我々は一般的に、他の次元にわたる均一なスケーリングを考える前に、モデルの深さを優先的に増やすDeepNarrow戦略を推奨します。これは主に、論文の前のセクションで示されているように、深さがパレートフロンティアにどれだけ影響を与えるかによるものです。具体的には、高くて小さい（深くて狭い）モデルは、基本モデルと比較して一般的により効率的です。同様に、高い基本モデルも、大きなモデルと比較して一般的により効率的である可能性があります。我々は一般的に、サイズに関係なく、層を積み重ね続けると絶対的なパフォーマンスが向上するかもしれませんが、層を増やすにつれてパレート効率の相対的なゲインは減少し、32から36層で収束することを発見しました。最後に、我々がここで言う効率性とは、パラメータ数、FLOP数またはスループット（速度）などの任意の計算次元に関係します。我々は3つの主要な効率メトリクス（パラメータ数、FLOP数、速度）を報告し、どの計算次元を考慮するかの決定は実務者に委ねます。

もう少し正確に言うと、モデルの深さは、順次積み重ねられたトランスフォーマーブロックの数として定義されます。したがって、単語埋め込みのシーケンスは、各トランスフォーマーブロックによって順次処理されます。

🚀 クイックスタート

このモデルは事前学習のみのチェックポイントであり、実際の使用にはファインチューニングが必要です。以下に、ファインチューニングの例をいくつか示します。

詳細なモデルアーキテクチャ

このモデルチェックポイント - t5-efficient-xl - は、モデルタイプがXlで、バリエーションはありません。このモデルは2851.66百万個のパラメータを持ち、したがって、完全精度（fp32）では約11406.62 MB、半精度（fp16またはbf16）では5703.31 MBのメモリを必要とします。

オリジナルのT5モデルアーキテクチャの概要は、以下の通りです。

以下の略語が使用されています。

モデルチェックポイントに特定のelまたはdlがない場合、エンコーダとデコーダの層の数は両方ともnlに対応します。

✨ 主な機能

• Deep-Narrowアーキテクチャ：同じパラメータ数の他のモデルアーキテクチャと比較して、下流タスクのパフォーマンスに有利です。
• 事前学習済み：Colossal, Cleaned version of Common Crawl (C4)で事前学習されています。

📦 事前学習

このチェックポイントは、Colossal, Cleaned version of Common Crawl (C4)で524288ステップ、スパンベースのマスク言語モデリング（MLM）の目的で事前学習されました。

💻 使用例

微調整

注意: このモデルは事前学習済みのチェックポイントであり、実際の使用には微調整が必要です。このチェックポイントは英語で事前学習されているため、英語の自然言語処理タスクにのみ有用です。以下に、モデルを微調整する方法の例をいくつか示します。

PyTorch:

• 要約
• 質問応答
• テキスト分類 - 注意: エンコーダ - デコーダモデルで動作させるために、ここでの学習例を少し調整する必要があります。

Tensorflow:

• 要約
• テキスト分類 - 注意: エンコーダ - デコーダモデルで動作させるために、ここでの学習例を少し調整する必要があります。

JAX/Flax:

• 要約
• テキスト分類 - 注意: エンコーダ - デコーダモデルで動作させるために、ここでの学習例を少し調整する必要があります。

📚 ドキュメント

このモデルチェックポイントについてより詳細な理解を得るために、読者は元の論文**Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers**を注意深く読むことを強くお勧めします。

このissueで説明されているように、shまたはskvモデルアーキテクチャのバリエーションを含むチェックポイントは、実用的な用途が限られており、詳細な説明が不足しているため、Transformersに移植されていません。これらのチェックポイントは、将来的に移植される可能性があるため、ここに保存されています。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。