T5 V1 1 Small

🚀 [Google的T5（版本1.1）]

Google的T5（Text-to-Text Transfer Transformer）是一個強大的自然語言處理模型。T5 1.1版本在原模型基礎上進行了多項改進，能更好地處理各種文本任務，在自然語言處理領域具有重要價值。

🚀 快速開始

本部分將為你介紹T5 1.1版本的相關信息，幫助你快速瞭解該模型。

✨ 主要特性

• 激活函數改進：前饋隱藏層使用GEGLU激活函數，而非ReLU，詳情見此處。
• 預訓練時關閉Dropout：預訓練階段關閉Dropout以提升質量，微調時需重新啟用。
• 僅在C4上預訓練：僅在C4數據集上進行預訓練，不混入下游任務數據。
• 無參數共享：嵌入層和分類器層之間無參數共享。
• 模型規模調整：“xl”和“xxl”取代“3B”和“11B”，模型形狀有所不同，d_model更大，num_heads和d_ff更小。

📚 詳細文檔

版本說明

T5版本1.1相較於原始T5模型有以下改進：

• 激活函數：前饋隱藏層使用GEGLU激活函數，而非ReLU - 詳見此處。
• Dropout設置：預訓練時關閉Dropout（提升質量），微調時應重新啟用。
• 預訓練數據：僅在C4上進行預訓練，不混入下游任務數據。
• 參數共享：嵌入層和分類器層之間無參數共享。
• 模型規模：“xl”和“xxl”取代“3B”和“11B”，模型形狀稍有不同 - 更大的d_model，更小的num_heads和d_ff。

注意：T5版本1.1僅在C4上進行預訓練，不包含任何監督訓練。因此，該模型在下游任務中使用前必須進行微調。

預訓練數據集

C4

其他社區檢查點

此處

論文

使用統一的文本到文本轉換器探索遷移學習的極限

作者

Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

遷移學習是自然語言處理（NLP）中的一種強大技術，即模型先在數據豐富的任務上進行預訓練，然後在下游任務上進行微調。遷移學習的有效性催生了多種方法、方法論和實踐。在本文中，我們通過引入一個統一的框架，將每個語言問題轉化為文本到文本的格式，探索了NLP遷移學習技術的領域。我們的系統研究比較了數十個語言理解任務的預訓練目標、架構、無標籤數據集、遷移方法和其他因素。通過將我們的探索見解與規模和新的“龐大幹淨爬取語料庫”相結合，我們在涵蓋摘要、問答、文本分類等多個基準測試中取得了最先進的結果。為了促進未來NLP遷移學習的工作，我們發佈了我們的數據集、預訓練模型和代碼。

模型圖片

📄 許可證

本項目採用Apache 2.0許可證。