T5 Efficient Small Dm768

🚀 T5-Efficient-SMALL-DM768（深度窄化版本）

T5-Efficient-SMALL-DM768 是 谷歌原始 T5 的一个变体，遵循 T5 模型架构。它是一个仅预训练的检查点，随论文 高效扩展：来自预训练和微调 Transformer 的见解 发布，该论文由 Yi Tay、Mostafa Dehghani、Jinfeng Rao、William Fedus、Samira Abnar、Hyung Won Chung、Sharan Narang、Dani Yogatama、Ashish Vaswani、Donald Metzler 撰写。

简而言之，该论文指出，与参数数量相近的其他模型架构相比，深度窄化的模型架构在下游性能方面更具优势。

以下是论文中的引用：

我们通常建议采用深度窄化策略，即在考虑对其他维度进行统一扩展之前，优先增加模型的深度。这主要是因为，正如论文前面章节所示，深度对帕累托前沿的影响很大。具体来说，一个高而小（深度大且宽度窄）的模型通常比基础模型更高效。同样，一个高的基础模型通常也可能比大型模型更高效。我们通常发现，无论模型大小如何，即使随着层数的增加绝对性能可能会提高，但随着层数的增加，帕累托效率的相对增益会逐渐减少，在 32 到 36 层时收敛。最后，我们注意到，这里的效率概念涉及任何一个计算维度，即参数数量、浮点运算次数（FLOPs）或吞吐量（速度）。我们报告了所有三个关键的效率指标（参数数量、FLOPs 和速度），并将选择考虑哪个计算维度的决定权留给实践者。

更准确地说，模型深度定义为顺序堆叠的 Transformer 块的数量。因此，一系列词嵌入会依次由每个 Transformer 块进行处理。

🚀 快速开始

本模型为预训练检查点，若要实际使用，需进行微调。该检查点以英文进行预训练，因此仅适用于英文自然语言处理任务。你可参考以下示例进行模型微调：

PyTorch

• 文本摘要
• 问答系统
• 文本分类 - 注意：你需要对训练示例进行轻微调整，使其适用于编码器 - 解码器模型。

Tensorflow

• 文本摘要
• 文本分类 - 注意：你需要对训练示例进行轻微调整，使其适用于编码器 - 解码器模型。

JAX/Flax

• 文本摘要
• 文本分类 - 注意：你需要对训练示例进行轻微调整，使其适用于编码器 - 解码器模型。

✨ 主要特性

论文表明，与参数数量相近的其他模型架构相比，深度窄化的模型架构在下游性能方面更具优势。

📚 详细文档

详细模型架构

此模型检查点 - t5-efficient-small-dm768 - 属于小型模型类型，具有以下变体：

• dm 为 768

它有 9077 万个参数，因此在全精度（fp32）下大约需要 363.1 MB 的内存，在半精度（fp16 或 bf16）下需要 181.55 MB 的内存。

原始 T5 模型架构的摘要如下：

使用的缩写如下：

如果一个模型检查点没有特定的 el 或 dl，则编码器层和解码器层的数量都对应于 nl。

预训练

该检查点在 大规模、清理后的通用爬虫数据集（C4） 上进行了 524288 步的预训练，使用基于跨度的掩码语言建模（MLM）目标。

微调

注意：此模型是一个预训练检查点，实际使用时需要进行微调。该检查点以英文进行预训练，因此仅适用于英文自然语言处理任务。你可以参考以下示例来微调模型：

下游性能

待补充可用表格。

计算复杂度

待补充可用表格。

更多信息

我们强烈建议读者仔细阅读原始论文 高效扩展：来自预训练和微调 Transformer 的见解，以更深入地了解此模型检查点。正如以下 问题 中所解释的，包含 sh 或 skv 模型架构变体的检查点尚未移植到 Transformers 中，因为它们可能实际用途有限且缺乏更详细的描述。这些检查点保留在 此处，可能会在未来进行移植。

📄 许可证

本项目采用 Apache-2.0 许可证。