T

T5 Efficient Small Nl22

由google開發
T5高效小型-NL22是谷歌T5模型的深度窄型變體,專注於通過增加模型深度提升下游任務性能。
下載量 17
發布時間 : 3/2/2022

模型概述

這是一個僅預訓練的檢查點,基於T5架構,採用深度窄型設計策略,優先增加模型深度而非寬度,以提高計算效率和下游任務性能。

模型特點

深度窄型架構
優先增加模型深度而非寬度,研究表明這種架構在下游任務中更高效。
高效預訓練
在C4數據集上進行了524,288步的預訓練,使用跨度的掩碼語言建模目標。
參數效率
相比同等參數量的其他架構,在計算效率(參數數量、FLOPs和速度)上表現更優。

模型能力

文本生成
文本摘要
問答系統
文本分類(需微調)

使用案例

文本生成
自動摘要
對長文檔生成簡潔摘要
問答系統
開放域問答
基於給定文本回答問題
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase