T5 3b

🚀 T5-3B模型卡片

T5-3B是Text-To-Text Transfer Transformer（T5）的一個具有30億參數的檢查點。T5將所有NLP任務重構為統一的文本到文本格式，可在多種NLP任務中使用相同的模型、損失函數和超參數。

📚 目錄

1. 模型詳情
2. 用途
3. 偏差、風險和侷限性
4. 訓練詳情
5. 評估
6. 環境影響
7. 引用
8. 模型卡片作者
9. 如何開始使用該模型

🔍 模型詳情

模型描述

文本到文本轉移變換器（T5）的開發者寫道：

使用T5，我們建議將所有NLP任務重構為統一的文本到文本格式，其中輸入和輸出始終是文本字符串，這與只能輸出類標籤或輸入跨度的BERT風格模型形成對比。我們的文本到文本框架允許我們在任何NLP任務上使用相同的模型、損失函數和超參數。

T5-3B是具有30億參數的檢查點。

• 開發者：Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li、Peter J. Liu。請參閱相關論文和GitHub倉庫
• 模型類型：語言模型
• 語言（NLP）：英語、法語、羅馬尼亞語、德語
• 許可證：Apache 2.0
• 相關模型：所有T5檢查點
• 更多信息資源：
  • 研究論文
  • 谷歌的T5博客文章
  • GitHub倉庫
  • Hugging Face T5文檔

💡 用途

直接使用和下游使用

開發者在博客文章中寫道，該模型：

我們的文本到文本框架允許我們在任何NLP任務上使用相同的模型、損失函數和超參數，包括機器翻譯、文檔摘要、問答和分類任務（如情感分析）。我們甚至可以通過訓練T5來預測數字的字符串表示而不是數字本身，將其應用於迴歸任務。

有關更多詳細信息，請參閱博客文章和研究論文。

超出範圍的使用

需要更多信息。

⚠️ 偏差、風險和侷限性

需要更多信息。

建議

需要更多信息。

📈 訓練詳情

訓練數據

該模型在Colossal Clean Crawled Corpus (C4)上進行預訓練，該語料庫是在與T5相同的研究論文背景下開發和發佈的。

該模型在無監督（1.）和有監督任務（2.）的多任務混合上進行預訓練。因此，以下數據集用於（1.）和（2.）：

1. 用於無監督去噪目標的數據集：

• C4
• Wiki-DPR

2. 用於有監督文本到文本語言建模目標的數據集：

• 句子可接受性判斷
  • CoLA Warstadt等人，2018
• 情感分析
  • SST-2 Socher等人，2013
• 釋義/句子相似度
  • MRPC Dolan和Brockett，2005
  • STS-B Ceret等人，2017
  • QQP Iyer等人，2017
• 自然語言推理
  • MNLI Williams等人，2017
  • QNLI Rajpurkar等人，2016
  • RTE Dagan等人，2005
  • CB De Marneff等人，2019
• 句子完成
  • COPA Roemmele等人，2011
• 詞義消歧
  • WIC Pilehvar和Camacho-Collados，2018
• 問答
  • MultiRC Khashabi等人，2018
  • ReCoRD Zhang等人，2018
  • BoolQ Clark等人，2019

訓練過程

模型開發者在摘要中寫道：

在本文中，我們通過引入一個統一的框架，將每個語言問題轉換為文本到文本格式，探索了NLP的遷移學習技術領域。我們的系統研究比較了數十個語言理解任務的預訓練目標、架構、無標籤數據集、遷移方法和其他因素。

引入的框架，即T5框架，涉及一個將論文中研究的方法結合起來的訓練過程。有關更多詳細信息，請參閱研究論文。

📊 評估

測試數據、因素和指標

開發者在24個任務上對模型進行了評估，有關完整詳細信息，請參閱研究論文。

結果

有關T5-3B的完整結果，請參閱研究論文，表14。

🌱 環境影響

可以使用Lacoste等人（2019）中提出的機器學習影響計算器來估算碳排放。

• 硬件類型：Google Cloud TPU Pods
• 使用時長：需要更多信息
• 雲服務提供商：GCP
• 計算區域：需要更多信息
• 碳排放：需要更多信息

📖 引用

BibTeX：

@article{2020t5,
  author  = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title   = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {Journal of Machine Learning Research},
  year    = {2020},
  volume  = {21},
  number  = {140},
  pages   = {1-67},
  url     = {http://jmlr.org/papers/v21/20-074.html}
}

APA：

• Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.

✍️ 模型卡片作者

此模型卡片由Hugging Face團隊撰寫。

🚀 如何開始使用該模型

有關如何開始使用此檢查點的更多背景信息，請參閱Hugging Face T5文檔和模型開發者創建的Colab筆記本。