Flan T5 Xxl Classif 3way

🚀 T5ForSequenceClassification

T5ForSequenceClassification 对原始的 T5 架构进行了调整，以适用于序列分类任务。T5 最初是为文本到文本的任务而构建的，并且在这类任务中表现出色。它可以处理任何转换为文本到文本格式的 NLP 任务，包括序列分类任务！你可以在 这里 了解原始 T5 如何用于序列分类任务。

我们构建 T5ForSequenceClassification 的动机在于，大多数 NLU 任务并不需要完整的原始 T5 架构。实际上，NLU 任务通常不需要生成文本，因此大型解码器是不必要的。通过移除解码器，我们可以将原始参数数量 减半（从而将计算成本减半），并针对给定任务 高效地优化 网络。

🚀 快速开始

T5ForSequenceClassification 支持零样本分类任务。它可以直接用于以下场景：

• 主题分类
• 意图识别
• 布尔问答
• 情感分析
• 以及任何其他以文本分类为目标的任务……

由于 T5ForClassification 类目前不受 Transformers 库支持，你无法直接在 Hub 上使用此模型。若要使用 T5ForSequenceClassification，你需要安装额外的包和模型权重。你可以在 这里 找到相关说明。

✨ 主要特性

为何选择 T5ForSequenceClassification？

基于 BERT 架构的模型，如 RoBERTa 和 DeBERTa，在序列分类任务中表现出色，至今仍被广泛使用。然而，这些模型的参数规模通常最多扩展到约 15 亿（如 DeBERTa xxlarge），与更大的模型相比，其知识储备有限。

另一方面，基于 T5 架构的模型参数规模可扩展到约 110 亿（如 t5 - xxl），并且该架构的创新成果不断涌现，性能也在持续提升（如 mT5、Flan - T5、UL2、Flan - UL2 等等）。

T5ForClassification 与 T5 的对比

T5ForClassification 架构：

• 编码器：与原始 T5 相同
• 解码器：仅保留第一层（用于池化）
• 分类头：解码器之上的简单线性层

优缺点：

• (+) 保留了 T5 的编码优势
• (+) 参数规模减半
• (+) 输出具有可解释性（类别对数几率）
• (+) 无生成错误，预测速度更快（无生成延迟）
• (-) 失去了文本到文本的能力

📚 详细文档

目录

0. 使用方法
1. 为何选择 T5ForSequenceClassification？
2. T5ForClassification 与 T5 的对比
3. 实验结果

🔧 技术细节

数据集和指标

实验结果

训练任务验证数据结果

未见任务（零样本）验证数据结果

特别感谢 philschmid 提供了 Flan - T5 - xxl 的 fp16 检查点。