T

T5 Efficient Base

由google開發
T5-Efficient-BASE是基於谷歌T5架構的變體,採用深度窄型設計優化下游任務表現,參數量2.229億
下載量 735
發布時間 : 3/2/2022

模型概述

該模型是對原始T5架構的改進版本,通過優先增加模型深度而非寬度來提升效率,適用於英文NLP任務。需微調後使用。

模型特點

深度窄型架構
相比標準T5,優先增加模型深度而非寬度,在相同參數量下提升下游任務表現
高效預訓練
在C4數據集上進行524,288步預訓練,採用跨度的掩碼語言建模目標
參數效率優化
通過高瘦型設計實現更好的帕累託效率,平衡參數量、FLOPs和推理速度

模型能力

文本生成
文本摘要
問答系統
文本分類(需調整架構)

使用案例

文本生成
自動摘要生成
將長文檔壓縮為簡潔摘要
問答系統
開放域問答
基於給定上下文回答自然語言問題
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase