T

T5 Efficient Base Ff9000

由google開發
T5-Efficient-BASE-FF9000是谷歌原版T5的變體,採用深度窄型架構,在參數規模相似的情況下,下游任務表現更優。
下載量 16
發布時間 : 3/2/2022

模型概述

這是一個基於T5架構的預訓練模型,採用深度窄型設計策略,優先增加模型深度以提高效率。模型在英語C4數據集上預訓練,適用於各種英語NLP任務。

模型特點

深度窄型架構
採用高瘦(深且窄)的模型設計,相比基礎模型更高效,在參數數量、FLOPs和速度三個關鍵效率指標上表現優異
高效預訓練
在大規模清理版Common Crawl(C4)數據集上進行524288步預訓練,使用跨度的掩碼語言建模目標
靈活微調
可作為基礎模型針對不同下游任務(如摘要生成、問答系統、文本分類等)進行微調

模型能力

文本生成
文本摘要
問答系統
文本分類

使用案例

文本生成
自動摘要
將長文檔自動生成簡潔摘要
問答系統
開放域問答
基於給定文本回答用戶問題
文本分類
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase