T5 Large Lm Adapt

🚀 [Google的T5版本1.1 - LM適配版]

Google的T5版本1.1 - LM適配版是在原T5模型基礎上進行改進的版本，在預訓練和模型結構上有諸多優化，能更好地用於提示調優等自然語言處理任務。

🚀 快速開始

此部分將為你快速介紹Google的T5版本1.1 - LM適配版的相關信息。

✨ 主要特性

與原T5模型相比的改進

• T5版本1.1 - LM適配版 相較於原 T5模型 有以下改進：
  • 前饋隱藏層使用GEGLU激活函數，而非ReLU - 詳見 此處。
  • 預訓練時關閉了Dropout（提升了質量）。微調時應重新啟用Dropout。
  • 僅在C4上進行預訓練，不混合下游任務。
  • 嵌入層和分類器層之間不共享參數。
  • “xl”和“xxl”取代了“3B”和“11B”。模型形狀略有不同 - 更大的 d_model，更小的 num_heads 和 d_ff。

預訓練目標

該模型在去噪和語言建模目標上進行了預訓練。具體而言，此檢查點從 T5版本1.1 - 大模型 初始化，然後在 T5論文 中討論的語言建模目標上額外訓練100K步。這種適配改進了模型用於提示調優的能力。

流行的微調版本

T5版本1.1 - LM適配版 模型的一個流行微調版本是 BigScience的T0pp。

📚 詳細文檔

預訓練數據集

C4

其他社區檢查點

此處

論文

使用統一的文本到文本變換器探索遷移學習的極限

作者

Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

遷移學習是一種強大的自然語言處理（NLP）技術，即模型先在數據豐富的任務上進行預訓練，然後在下游任務上進行微調。遷移學習的有效性催生了多種方法、方法論和實踐。在本文中，我們通過引入一個統一的框架，將每個語言問題轉換為文本到文本的格式，探索了NLP遷移學習技術的領域。我們的系統研究在數十個語言理解任務上比較了預訓練目標、架構、無標籤數據集、遷移方法和其他因素。通過將我們的探索見解與規模以及我們新的“巨大幹淨爬取語料庫”相結合，我們在許多涵蓋摘要、問答、文本分類等的基準測試中取得了最先進的結果。為了促進未來NLP遷移學習的工作，我們發佈了我們的數據集、預訓練模型和代碼。

📄 許可證

本項目遵循Apache-2.0許可證。