T5 V1 1 Xl

🚀 [Google的T5模型（版本1.1）]

Google的T5模型版本1.1在自然語言處理領域展現出強大的遷移學習能力，通過統一的文本到文本框架，在多個語言理解任務上取得了優異成果。

🚀 快速開始

本項目聚焦於Google的T5模型版本1.1，它在原始T5模型基礎上進行了多方面改進，可應用於多種自然語言處理任務，但需在下游任務上進行微調後使用。

✨ 主要特性

• 激活函數優化：前饋隱藏層採用GEGLU激活函數，而非ReLU，詳情見此處。
• 預訓練優化：預訓練階段關閉了Dropout（提升了質量），微調時需重新啟用。
• 預訓練數據：僅在C4數據集上進行預訓練，未混入下游任務數據。
• 參數設置：嵌入層和分類器層之間不共享參數。
• 模型規模調整：用 "xl" 和 "xxl" 替代 "3B" 和 "11B"，模型形狀有所不同，d_model 更大，num_heads 和 d_ff 更小。

📚 詳細文檔

版本1.1說明

T5版本1.1相較於原始T5模型有上述諸多改進。需注意，T5版本1.1僅在C4上進行了預訓練，未進行任何有監督訓練，因此該模型在下游任務上使用前必須進行微調。

預訓練數據集

預訓練數據集為C4。

其他社區檢查點

可查看此處。

相關論文

論文鏈接：探索統一文本到文本轉換器的遷移學習極限

作者信息

作者包括 Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li、Peter J. Liu 。

摘要

遷移學習是自然語言處理（NLP）中的強大技術，即模型先在數據豐富的任務上進行預訓練，然後在下游任務上進行微調。遷移學習的有效性催生了多種方法、方法論和實踐。本文通過引入一個統一框架，將每個語言問題轉化為文本到文本的格式，探索了NLP遷移學習技術的領域。我們的系統研究在數十個語言理解任務上比較了預訓練目標、架構、無標籤數據集、遷移方法和其他因素。通過將探索所得的見解與規模以及我們新的“巨型清潔爬取語料庫”相結合，我們在涵蓋摘要、問答、文本分類等多個基準測試中取得了最先進的結果。為了促進未來NLP遷移學習的研究，我們發佈了數據集、預訓練模型和代碼。

📄 許可證

本項目採用 Apache-2.0許可證。