M

Mrt5 Small

由stanfordnlp開發
MrT5是ByT5的高效改進版本,通過動態令牌合併技術縮短輸入序列長度,提升處理效率。
下載量 65
發布時間 : 3/23/2025

模型概述

MrT5是基於ByT5的改進模型,通過引入動態令牌刪除機制,在編碼器中縮短序列長度,同時保留關鍵信息,適用於多語言序列到序列任務。

模型特點

動態令牌合併
通過刪除門機制動態縮短輸入序列長度,提升處理效率。
多語言支持
支持15種類型學多樣語言的處理。
高效改進
在ByT5基礎上僅增加3000個參數實現刪除門機制。

模型能力

多語言文本生成
序列到序列轉換
字節級處理

使用案例

學術研究
語言模型效率研究
研究動態令牌合併技術對語言模型效率的影響。
文本處理
多語言文本摘要
對多語言文本進行摘要生成。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase