T5 V1 1 Base

🚀 [Google的T5模型（版本1.1）]

Google的T5模型（版本1.1）是自然語言處理領域的先進模型，通過改進架構和預訓練方式，在多種語言任務中展現出卓越性能。

🚀 快速開始

本模型需先進行微調才能在下游任務中使用。你可以參考相關代碼和文檔進行模型的微調操作。

✨ 主要特性

• 激活函數改進：前饋隱藏層採用GEGLU激活函數，而非ReLU，詳情見此處。
• 預訓練時關閉Dropout：預訓練階段關閉Dropout以提升質量，微調時需重新開啟。
• 僅在C4上預訓練：僅在C4數據集上進行預訓練，不混入下游任務。
• 無參數共享：嵌入層和分類器層之間無參數共享。
• 模型規模調整：用“xl”和“xxl”替代“3B”和“11B”，模型形狀有所不同，d_model更大，num_heads和d_ff更小。

📚 詳細文檔

版本1.1說明

T5 Version 1.1相較於原始T5模型有如下改進：

• 前饋隱藏層使用GEGLU激活函數，而非ReLU，參考這裡。
• 預訓練時關閉Dropout（提升質量），微調時應重新啟用。
• 僅在C4上進行預訓練，不混入下游任務。
• 嵌入層和分類器層之間無參數共享。
• “xl”和“xxl”替代“3B”和“11B”，模型形狀稍有不同，d_model更大，num_heads和d_ff更小。

注意：T5 Version 1.1僅在C4上進行預訓練，未進行任何監督訓練。因此，該模型在下游任務中使用前必須進行微調。

預訓練數據集

C4

其他社區檢查點

點擊查看

論文

探索統一文本到文本轉換器的遷移學習極限

作者

Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

遷移學習是自然語言處理（NLP）中的強大技術，即先在數據豐富的任務上預訓練模型，再在下游任務上進行微調。遷移學習的有效性催生了多種方法、方法論和實踐。本文通過引入統一框架，將每個語言問題轉化為文本到文本的格式，探索NLP遷移學習技術的格局。我們的系統研究比較了數十種語言理解任務的預訓練目標、架構、無標籤數據集、遷移方法和其他因素。通過將探索所得的見解與規模以及新的“巨型清潔爬取語料庫”相結合，我們在涵蓋摘要、問答、文本分類等多個基準測試中取得了最先進的成果。為了促進未來NLP遷移學習的研究，我們發佈了數據集、預訓練模型和代碼。

📄 許可證

本項目採用Apache-2.0許可證。