T5 3b

🚀 T5-3B模型卡片

T5-3B是Text-To-Text Transfer Transformer（T5）的一个具有30亿参数的检查点。T5将所有NLP任务重构为统一的文本到文本格式，可在多种NLP任务中使用相同的模型、损失函数和超参数。

📚 目录

1. 模型详情
2. 用途
3. 偏差、风险和局限性
4. 训练详情
5. 评估
6. 环境影响
7. 引用
8. 模型卡片作者
9. 如何开始使用该模型

🔍 模型详情

模型描述

文本到文本转移变换器（T5）的开发者写道：

使用T5，我们建议将所有NLP任务重构为统一的文本到文本格式，其中输入和输出始终是文本字符串，这与只能输出类标签或输入跨度的BERT风格模型形成对比。我们的文本到文本框架允许我们在任何NLP任务上使用相同的模型、损失函数和超参数。

T5-3B是具有30亿参数的检查点。

• 开发者：Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li、Peter J. Liu。请参阅相关论文和GitHub仓库
• 模型类型：语言模型
• 语言（NLP）：英语、法语、罗马尼亚语、德语
• 许可证：Apache 2.0
• 相关模型：所有T5检查点
• 更多信息资源：
  • 研究论文
  • 谷歌的T5博客文章
  • GitHub仓库
  • Hugging Face T5文档

💡 用途

直接使用和下游使用

开发者在博客文章中写道，该模型：

我们的文本到文本框架允许我们在任何NLP任务上使用相同的模型、损失函数和超参数，包括机器翻译、文档摘要、问答和分类任务（如情感分析）。我们甚至可以通过训练T5来预测数字的字符串表示而不是数字本身，将其应用于回归任务。

有关更多详细信息，请参阅博客文章和研究论文。

超出范围的使用

需要更多信息。

⚠️ 偏差、风险和局限性

需要更多信息。

建议

需要更多信息。

📈 训练详情

训练数据

该模型在Colossal Clean Crawled Corpus (C4)上进行预训练，该语料库是在与T5相同的研究论文背景下开发和发布的。

该模型在无监督（1.）和有监督任务（2.）的多任务混合上进行预训练。因此，以下数据集用于（1.）和（2.）：

1. 用于无监督去噪目标的数据集：

• C4
• Wiki-DPR

2. 用于有监督文本到文本语言建模目标的数据集：

• 句子可接受性判断
  • CoLA Warstadt等人，2018
• 情感分析
  • SST-2 Socher等人，2013
• 释义/句子相似度
  • MRPC Dolan和Brockett，2005
  • STS-B Ceret等人，2017
  • QQP Iyer等人，2017
• 自然语言推理
  • MNLI Williams等人，2017
  • QNLI Rajpurkar等人，2016
  • RTE Dagan等人，2005
  • CB De Marneff等人，2019
• 句子完成
  • COPA Roemmele等人，2011
• 词义消歧
  • WIC Pilehvar和Camacho-Collados，2018
• 问答
  • MultiRC Khashabi等人，2018
  • ReCoRD Zhang等人，2018
  • BoolQ Clark等人，2019

训练过程

模型开发者在摘要中写道：

在本文中，我们通过引入一个统一的框架，将每个语言问题转换为文本到文本格式，探索了NLP的迁移学习技术领域。我们的系统研究比较了数十个语言理解任务的预训练目标、架构、无标签数据集、迁移方法和其他因素。

引入的框架，即T5框架，涉及一个将论文中研究的方法结合起来的训练过程。有关更多详细信息，请参阅研究论文。

📊 评估

测试数据、因素和指标

开发者在24个任务上对模型进行了评估，有关完整详细信息，请参阅研究论文。

结果

有关T5-3B的完整结果，请参阅研究论文，表14。

🌱 环境影响

可以使用Lacoste等人（2019）中提出的机器学习影响计算器来估算碳排放。

• 硬件类型：Google Cloud TPU Pods
• 使用时长：需要更多信息
• 云服务提供商：GCP
• 计算区域：需要更多信息
• 碳排放：需要更多信息

📖 引用

BibTeX：

@article{2020t5,
  author  = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title   = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {Journal of Machine Learning Research},
  year    = {2020},
  volume  = {21},
  number  = {140},
  pages   = {1-67},
  url     = {http://jmlr.org/papers/v21/20-074.html}
}

APA：

• Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.

✍️ 模型卡片作者

此模型卡片由Hugging Face团队撰写。

🚀 如何开始使用该模型

有关如何开始使用此检查点的更多背景信息，请参阅Hugging Face T5文档和模型开发者创建的Colab笔记本。