T

T5 Efficient Base Ff6000

由google開發
T5-Efficient-BASE-FF6000是谷歌原版T5的一個變體,採用深度窄型架構,在參數數量相近的模型架構中,下游任務性能更具優勢。
下載量 16
發布時間 : 3/2/2022

模型概述

這是一個僅預訓練的檢查點,基於T5模型架構,採用深度窄型設計策略,優先增加模型深度以提高效率。

模型特點

深度窄型架構
優先增加模型深度而非寬度,在相同參數數量下提供更好的下游任務性能
高效預訓練
在Colossal Cleaned Common Crawl (C4)數據集上進行預訓練,使用跨度的掩碼語言建模目標
參數優化
前饋網絡維度設置為6000,相比標準T5-base的3072更大

模型能力

文本生成
文本摘要
問答系統
文本分類(需微調)

使用案例

文本生成
內容摘要
對長文檔生成簡潔摘要
問答系統
開放域問答
基於給定文本回答問題
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase