T5 Small Lm Adapt

🚀 [Google的T5（版本1.1 - LM適配）]

Google的T5 版本1.1 - LM適配模型，在自然語言處理領域展現出強大的能力。它對原始T5模型進行了多方面改進，能更好地應用於各種下游任務。

✨ 主要特性

T5版本1.1 - LM適配 相較於原始的 T5模型 有以下改進：

• 前饋隱藏層採用GEGLU激活函數，而非ReLU - 詳見 此處。
• 預訓練階段關閉了Dropout（提升了質量）。微調階段應重新啟用Dropout。
• 僅在C4數據集上進行預訓練，未混入下游任務數據。
• 嵌入層和分類器層之間不共享參數。
• 用 "xl" 和 "xxl" 替代 "3B" 和 "11B"。模型形狀略有不同，d_model 更大，num_heads 和 d_ff 更小。

該模型在去噪和語言建模目標上進行了預訓練。具體而言，此檢查點從 T5版本1.1 - 小型 初始化，然後在 T5論文 中討論的語言建模目標上額外訓練了100K步。這種適配提升了模型用於提示調優的能力。

注意：T5版本1.1 - LM適配 模型一個流行的微調版本是 BigScience的T0pp。

📚 詳細文檔

預訓練數據集

C4

其他社區檢查點

此處

論文

使用統一的文本到文本Transformer探索遷移學習的極限

作者

Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

遷移學習是一種強大的自然語言處理（NLP）技術，即先在數據豐富的任務上對模型進行預訓練，再在下游任務上進行微調。遷移學習的有效性催生了多種方法、方法論和實踐。在本文中，我們通過引入一個統一的框架，將每個語言問題轉化為文本到文本的格式，探索了NLP遷移學習技術的格局。我們的系統研究在數十個語言理解任務上比較了預訓練目標、架構、無標籤數據集、遷移方法和其他因素。通過將我們的探索見解與規模以及我們新的 “龐大幹淨爬取語料庫” 相結合，我們在涵蓋摘要、問答、文本分類等多個基準測試中取得了最先進的結果。為了促進未來NLP遷移學習的研究，我們發佈了我們的數據集、預訓練模型和代碼。

📄 許可證

本項目採用Apache 2.0許可證。