🚀 T5-Efficient-BASE(深度窄化版本)
T5-Efficient-BASE是谷歌原始T5的一個變體,遵循T5模型架構。它是一個僅預訓練的檢查點,隨論文**高效擴展:來自預訓練和微調Transformer的見解**發佈,論文作者為Yi Tay、Mostafa Dehghani、Jinfeng Rao、William Fedus、Samira Abnar、Hyung Won Chung、Sharan Narang、Dani Yogatama、Ashish Vaswani、Donald Metzler。
簡而言之,該論文指出,與參數數量相近的其他模型架構相比,深度窄化的模型架構在下游任務性能上更具優勢。
引用論文中的內容:
我們通常推薦深度窄化策略,即在考慮對其他維度進行統一擴展之前,優先增加模型的深度。這主要是因為論文前面章節所展示的深度對帕累託前沿的影響程度。具體來說,一個又高又小(深度大且寬度窄)的模型通常比基礎模型更高效。同樣,一個高基礎模型通常也可能比大型模型更高效。我們普遍發現,無論模型大小如何,即使隨著層數的不斷堆疊,絕對性能可能會提高,但隨著層數的增加,帕累託效率的相對增益會逐漸減小,在32到36層時收斂。最後,我們注意到這裡的效率概念與任何一種計算維度相關,即參數數量、浮點運算次數(FLOPs)或吞吐量(速度)。我們報告了所有三個關鍵的效率指標(參數數量、FLOPS和速度),並將選擇考慮哪種計算維度的決定權留給從業者。
更準確地說,模型深度定義為順序堆疊的Transformer塊的數量。因此,詞嵌入序列會依次由每個Transformer塊進行處理。
✨ 主要特性
本模型具有以下特性:
- 基於谷歌原始T5模型架構進行改進。
- 採用深度窄化策略,在下游任務性能上表現更優。
- 僅預訓練,需進行微調以應用於實際任務。
📦 安裝指南
文檔未提及安裝步驟,故跳過此章節。
💻 使用示例
文檔未提供代碼示例,故跳過此章節。
📚 詳細文檔
詳細模型架構
此模型檢查點 - t5-efficient-base - 屬於基礎模型類型,無變體。它有2.2293億個參數,因此在全精度(fp32)下大約需要891.73 MB的內存,在半精度(fp16 或 bf16)下需要445.86 MB的內存。
原始 T5模型架構總結如下:
模型 |
nl (el/dl) |
ff |
dm |
kv |
nh |
參數數量 |
Tiny |
4/4 |
1024 |
256 |
32 |
4 |
16M |
Mini |
4/4 |
1536 |
384 |
32 |
8 |
31M |
Small |
6/6 |
2048 |
512 |
32 |
8 |
60M |
Base |
12/12 |
3072 |
768 |
64 |
12 |
220M |
Large |
24/24 |
4096 |
1024 |
64 |
16 |
738M |
Xl |
24/24 |
16384 |
1024 |
128 |
32 |
3B |
XXl |
24/24 |
65536 |
1024 |
128 |
128 |
11B |
使用的縮寫含義如下:
縮寫 |
定義 |
nl |
Transformer塊的數量(深度) |
dm |
嵌入向量的維度(Transformer塊的輸出向量) |
kv |
鍵/值投影矩陣的維度 |
nh |
注意力頭的數量 |
ff |
Transformer塊內中間向量的維度(前饋投影矩陣的大小) |
el |
編碼器中Transformer塊的數量(編碼器深度) |
dl |
解碼器中Transformer塊的數量(解碼器深度) |
sh |
表示注意力頭共享 |
skv |
表示鍵值投影矩陣綁定 |
如果一個模型檢查點沒有特定的 el 或 dl,則編碼器層和解碼器層的數量都對應於 nl。
預訓練
該檢查點在大規模清理版通用爬蟲數據集(C4)上進行了524288步的預訓練,使用基於跨度的掩碼語言建模(MLM)目標。
微調
⚠️ 重要提示
此模型是一個預訓練檢查點,需要進行微調才能用於實際任務。該檢查點是用英語進行預訓練的,因此僅適用於英語自然語言處理任務。
你可以參考以下示例來微調模型:
PyTorch:
- 文本摘要
- 問答
- 文本分類 - 注意: 你需要對這裡的訓練示例進行一些微調,使其適用於編碼器 - 解碼器模型。
Tensorflow:
- 文本摘要
- 文本分類 - 注意: 你需要對這裡的訓練示例進行一些微調,使其適用於編碼器 - 解碼器模型。
JAX/Flax:
- 文本摘要
- 文本分類 - 注意: 你需要對這裡的訓練示例進行一些微調,使其適用於編碼器 - 解碼器模型。
下游性能
文檔中提到待添加表格,暫無實質內容,故跳過此章節。
計算複雜度
文檔中提到待添加表格,暫無實質內容,故跳過此章節。
更多信息
我們強烈建議讀者仔細閱讀原始論文**高效擴展:來自預訓練和微調Transformer的見解**,以更深入地瞭解此模型檢查點。正如此問題中所解釋的,包含 sh 或 skv 模型架構變體的檢查點尚未移植到Transformers中,因為它們可能實際用途有限,且缺乏更詳細的描述。這些檢查點保留在此處,可能會在未來進行移植。
🔧 技術細節
模型深度定義
模型深度定義為順序堆疊的Transformer塊的數量,詞嵌入序列會依次由每個Transformer塊進行處理。
深度窄化策略優勢
採用深度窄化策略,在下游任務性能上比參數數量相近的其他模型架構更具優勢。隨著層數增加,帕累託效率的相對增益會逐漸減小,在32到36層時收斂。
📄 許可證
本項目採用Apache-2.0許可證。