T5 Efficient Base

🚀 T5-Efficient-BASE（深度窄化版本）

T5-Efficient-BASE是谷歌原始T5的一個變體，遵循T5模型架構。它是一個僅預訓練的檢查點，隨論文**高效擴展：來自預訓練和微調Transformer的見解**發佈，論文作者為Yi Tay、Mostafa Dehghani、Jinfeng Rao、William Fedus、Samira Abnar、Hyung Won Chung、Sharan Narang、Dani Yogatama、Ashish Vaswani、Donald Metzler。

簡而言之，該論文指出，與參數數量相近的其他模型架構相比，深度窄化的模型架構在下游任務性能上更具優勢。

引用論文中的內容：

我們通常推薦深度窄化策略，即在考慮對其他維度進行統一擴展之前，優先增加模型的深度。這主要是因為論文前面章節所展示的深度對帕累託前沿的影響程度。具體來說，一個又高又小（深度大且寬度窄）的模型通常比基礎模型更高效。同樣，一個高基礎模型通常也可能比大型模型更高效。我們普遍發現，無論模型大小如何，即使隨著層數的不斷堆疊，絕對性能可能會提高，但隨著層數的增加，帕累託效率的相對增益會逐漸減小，在32到36層時收斂。最後，我們注意到這裡的效率概念與任何一種計算維度相關，即參數數量、浮點運算次數（FLOPs）或吞吐量（速度）。我們報告了所有三個關鍵的效率指標（參數數量、FLOPS和速度），並將選擇考慮哪種計算維度的決定權留給從業者。

更準確地說，模型深度定義為順序堆疊的Transformer塊的數量。因此，詞嵌入序列會依次由每個Transformer塊進行處理。

✨ 主要特性

本模型具有以下特性：

• 基於谷歌原始T5模型架構進行改進。
• 採用深度窄化策略，在下游任務性能上表現更優。
• 僅預訓練，需進行微調以應用於實際任務。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

詳細模型架構

此模型檢查點 - t5-efficient-base - 屬於基礎模型類型，無變體。它有2.2293億個參數，因此在全精度（fp32）下大約需要891.73 MB的內存，在半精度（fp16 或 bf16）下需要445.86 MB的內存。

原始 T5模型架構總結如下：

使用的縮寫含義如下：

如果一個模型檢查點沒有特定的 el 或 dl，則編碼器層和解碼器層的數量都對應於 nl。

預訓練

該檢查點在大規模清理版通用爬蟲數據集（C4）上進行了524288步的預訓練，使用基於跨度的掩碼語言建模（MLM）目標。

微調

⚠️ 重要提示

此模型是一個預訓練檢查點，需要進行微調才能用於實際任務。該檢查點是用英語進行預訓練的，因此僅適用於英語自然語言處理任務。

你可以參考以下示例來微調模型：

PyTorch:

• 文本摘要
• 問答
• 文本分類 - 注意: 你需要對這裡的訓練示例進行一些微調，使其適用於編碼器 - 解碼器模型。

Tensorflow:

• 文本摘要
• 文本分類 - 注意: 你需要對這裡的訓練示例進行一些微調，使其適用於編碼器 - 解碼器模型。

JAX/Flax:

• 文本摘要
• 文本分類 - 注意: 你需要對這裡的訓練示例進行一些微調，使其適用於編碼器 - 解碼器模型。

下游性能

文檔中提到待添加表格，暫無實質內容，故跳過此章節。

計算複雜度

文檔中提到待添加表格，暫無實質內容，故跳過此章節。

更多信息

我們強烈建議讀者仔細閱讀原始論文**高效擴展：來自預訓練和微調Transformer的見解**，以更深入地瞭解此模型檢查點。正如此問題中所解釋的，包含 sh 或 skv 模型架構變體的檢查點尚未移植到Transformers中，因為它們可能實際用途有限，且缺乏更詳細的描述。這些檢查點保留在此處，可能會在未來進行移植。

🔧 技術細節

模型深度定義

模型深度定義為順序堆疊的Transformer塊的數量，詞嵌入序列會依次由每個Transformer塊進行處理。

深度窄化策略優勢

採用深度窄化策略，在下游任務性能上比參數數量相近的其他模型架構更具優勢。隨著層數增加，帕累託效率的相對增益會逐漸減小，在32到36層時收斂。

📄 許可證

本項目採用Apache-2.0許可證。