T5 Base Lm Adapt

🚀 [Google的T5（版本1.1 - LM自適應）]

Google的T5 版本1.1 - LM自適應模型，對原有的T5模型進行了多方面的改進，在自然語言處理任務中表現更優，適用於多種下游任務的微調。

🚀 快速開始

本模型基於Google的T5架構，版本1.1 - LM自適應，在預訓練和模型結構上有諸多改進，可用於多種自然語言處理任務。

✨ 主要特性

T5版本1.1 - LM自適應 相較於原始的 T5模型 具有以下改進：

• 前饋隱藏層使用GEGLU激活函數，而非ReLU - 詳見 此處。
• 預訓練時關閉了Dropout（提升了質量）。微調時應重新啟用Dropout。
• 僅在C4數據集上進行預訓練，未混入下游任務。
• 嵌入層和分類器層之間不共享參數。
• “xl” 和 “xxl” 取代了 “3B” 和 “11B”。模型形狀略有不同 - 更大的 d_model，更小的 num_heads 和 d_ff。

該模型在去噪和語言建模目標上進行了預訓練。更具體地說，此檢查點從 T5版本1.1 - 基礎版 初始化，然後在 T5論文 中討論的語言建模目標上額外訓練了100K步。這種自適應改進了模型用於提示調優的能力。

注意：T5版本1.1 - LM自適應 模型的一個流行微調版本是 BigScience的T0pp。

📚 詳細文檔

預訓練數據集

C4

其他社區檢查點

點擊查看

相關論文

使用統一的文本到文本轉換器探索遷移學習的極限

作者

Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

遷移學習是一種強大的自然語言處理（NLP）技術，即先在數據豐富的任務上對模型進行預訓練，然後在下游任務上進行微調。遷移學習的有效性催生了多種方法、方法論和實踐。在本文中，我們通過引入一個統一的框架來探索NLP遷移學習技術的格局，該框架將每個語言問題轉換為文本到文本的格式。我們的系統研究在數十個語言理解任務上比較了預訓練目標、架構、無標籤數據集、遷移方法和其他因素。通過將我們的探索見解與規模和新的 “巨大清潔爬取語料庫” 相結合，我們在涵蓋摘要、問答、文本分類等多個基準測試中取得了最先進的結果。為了促進未來NLP遷移學習的研究，我們發佈了數據集、預訓練模型和代碼。

模型圖片

📄 許可證

本項目採用Apache 2.0許可證。