T

T5 Efficient Small Kv32

由google開發
T5-Efficient-SMALL-KV32是Google原版T5的一個變體,採用深度窄型架構,專注於提高下游任務性能。
下載量 16
發布時間 : 3/2/2022

模型概述

這是一個僅預訓練的檢查點,基於T5模型架構,採用深度窄型設計,適合英語NLP任務。

模型特點

深度窄型架構
採用高瘦(深且窄)的設計,相比同等參數量的其他架構,對下游任務性能更有利。
高效預訓練
在C4數據集上進行了524288步的預訓練,使用跨度的掩碼語言建模目標。
參數高效
僅51.08百萬參數,相比標準T5模型更輕量。

模型能力

文本生成
文本摘要
問答系統
文本分類(需微調)

使用案例

文本處理
摘要生成
將長文本壓縮為簡潔的摘要
問答系統
基於給定文本回答問題
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase