T

T5 Base Lm Adapt

由 google 开发
T5 V1.1语言模型适配版是基于T5架构改进的文本生成模型,通过GEGLU激活函数和语言建模目标优化,显著提升提示调优效果。
下载量 1,062
发布时间 : 3/2/2022

模型简介

该模型是T5基础版的改进版本,专注于文本到文本转换任务,通过架构优化和训练目标调整提升语言建模能力。

模型特点

GEGLU激活函数
前馈隐藏层采用GEGLU激活函数替代原始ReLU,提升模型表达能力
无Dropout预训练
预训练阶段关闭Dropout机制,提高模型质量,微调时需重新启用
双目标训练
同时采用去噪和语言建模目标进行预训练,增强语言理解能力
参数优化
调整模型维度结构,增大d_model维度,减少注意力头和前馈层维度

模型能力

文本生成
文本转换
语言建模
提示调优
迁移学习

使用案例

文本生成
自动摘要
将长文本压缩为简洁摘要
在摘要生成基准测试中取得先进成果
问答系统
基于文本内容回答问题
在多项问答任务中表现优异
文本转换
文本分类
将输入文本分类到预定义类别
在文本分类基准中达到先进水平
语言翻译
实现语言间的文本转换
支持多种语言翻译任务
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase