T5 Xxl Lm Adapt

🚀 [Google的T5版本1.1 - LM適配模型]

Google的T5版本1.1 - LM適配模型，在原T5模型基礎上進行了多項改進，提升了模型在語言建模和提示調優方面的能力。

🚀 快速開始

本項目是 Google的T5 版本1.1 - LM適配模型。

✨ 主要特性

版本1.1 - LM適配特性

T5版本1.1 - LM適配 相較於原始的 T5模型 有以下改進：

• 前饋隱藏層使用GEGLU激活函數，而非ReLU - 詳見 此處。
• 預訓練時關閉了Dropout（提升了質量）。微調時應重新啟用Dropout。
• 僅在C4數據集上進行預訓練，未混入下游任務數據。
• 嵌入層和分類器層之間不共享參數。
• 用 "xl" 和 "xxl" 取代 "3B" 和 "11B"。模型形狀略有不同，d_model 更大，num_heads 和 d_ff 更小。

該模型在去噪和語言建模目標上進行了預訓練。

更具體地說，此檢查點從 T5版本1.1 - XXL 初始化，然後在 T5論文 中討論的語言建模目標上額外訓練了100K步。這種適配改進了模型在提示調優方面的能力。

注意：T5版本1.1 - LM適配 模型的一個流行微調版本是 BigScience的T0pp。

其他信息

• 預訓練數據集：C4
• 其他社區檢查點：此處
• 論文：使用統一的文本到文本轉換器探索遷移學習的極限
• 作者：Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li、Peter J. Liu

📚 詳細文檔

摘要

遷移學習是一種強大的自然語言處理（NLP）技術，即先在數據豐富的任務上對模型進行預訓練，然後在下游任務上進行微調。遷移學習的有效性催生了多種方法、方法論和實踐。在本文中，我們通過引入一個將每個語言問題轉換為文本到文本格式的統一框架，探索了NLP遷移學習技術的領域。我們的系統研究在數十個語言理解任務上比較了預訓練目標、架構、無標籤數據集、遷移方法和其他因素。通過將我們的探索見解與規模和新的“巨型乾淨爬取語料庫”相結合，我們在涵蓋摘要、問答、文本分類等多個基準測試中取得了最先進的結果。為了促進未來NLP遷移學習的研究，我們發佈了數據集、預訓練模型和代碼。

📄 許可證

本項目採用Apache 2.0許可證。