T5 Base Lm Adapt

🚀 [Google的T5（版本1.1 - LM自适应）]

Google的T5 版本1.1 - LM自适应模型，对原有的T5模型进行了多方面的改进，在自然语言处理任务中表现更优，适用于多种下游任务的微调。

🚀 快速开始

本模型基于Google的T5架构，版本1.1 - LM自适应，在预训练和模型结构上有诸多改进，可用于多种自然语言处理任务。

✨ 主要特性

T5版本1.1 - LM自适应 相较于原始的 T5模型 具有以下改进：

• 前馈隐藏层使用GEGLU激活函数，而非ReLU - 详见 此处。
• 预训练时关闭了Dropout（提升了质量）。微调时应重新启用Dropout。
• 仅在C4数据集上进行预训练，未混入下游任务。
• 嵌入层和分类器层之间不共享参数。
• “xl” 和 “xxl” 取代了 “3B” 和 “11B”。模型形状略有不同 - 更大的 d_model，更小的 num_heads 和 d_ff。

该模型在去噪和语言建模目标上进行了预训练。更具体地说，此检查点从 T5版本1.1 - 基础版 初始化，然后在 T5论文 中讨论的语言建模目标上额外训练了100K步。这种自适应改进了模型用于提示调优的能力。

注意：T5版本1.1 - LM自适应 模型的一个流行微调版本是 BigScience的T0pp。

📚 详细文档

预训练数据集

C4

其他社区检查点

点击查看

相关论文

使用统一的文本到文本转换器探索迁移学习的极限

作者

Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu

摘要

迁移学习是一种强大的自然语言处理（NLP）技术，即先在数据丰富的任务上对模型进行预训练，然后在下游任务上进行微调。迁移学习的有效性催生了多种方法、方法论和实践。在本文中，我们通过引入一个统一的框架来探索NLP迁移学习技术的格局，该框架将每个语言问题转换为文本到文本的格式。我们的系统研究在数十个语言理解任务上比较了预训练目标、架构、无标签数据集、迁移方法和其他因素。通过将我们的探索见解与规模和新的 “巨大清洁爬取语料库” 相结合，我们在涵盖摘要、问答、文本分类等多个基准测试中取得了最先进的结果。为了促进未来NLP迁移学习的研究，我们发布了数据集、预训练模型和代码。

模型图片

📄 许可证

本项目采用Apache 2.0许可证。