AIbase
TW
模型選型
標籤
GEGLU激活函數

# GEGLU激活函數

T5 V1 1 Small
Apache-2.0
T5版本1.1是谷歌改進的文本到文本轉換模型，採用GEGLU激活函數，僅在C4數據集上進行無監督預訓練，需微調後使用。
大型語言模型 英語
T
google
127.68k
26
T5 Large Lm Adapt
Apache-2.0
T5版本1.1的LM適配版是基於T5架構改進的文本生成模型，通過語言建模目標額外訓練，提升了提示調優能力。
大型語言模型 Transformers 英語
T
google
501
8
T5 V1 1 Xl
Apache-2.0
T5 1.1是谷歌改進的文本到文本轉換Transformer模型，採用GEGLU激活函數和優化架構，僅使用C4數據集進行無監督預訓練
大型語言模型 Transformers 英語
T
google
30.17k
15
T5 V1 1 Base
Apache-2.0
T5 1.1是谷歌改進的文本到文本轉換模型，採用GEGLU激活函數和優化架構，專注於無監督預訓練
大型語言模型 英語
T
google
150.73k
58
T5 Xl Lm Adapt
Apache-2.0
T5 1.1語言模型適配版是基於原始T5模型的改進版本，採用GEGLU激活函數，取消參數共享，專為語言建模任務優化
大型語言模型 Transformers 英語
T
google
1,111
13
T5 Small Lm Adapt
Apache-2.0
T5 1.1語言模型適配版是基於原始T5模型的改進版本，針對語言建模任務進行了優化，提升了在提示調優中的應用能力。
大型語言模型 Transformers 英語
T
google
769
8
T5 V1 1 Large
Apache-2.0
T5 1.1是谷歌改進的文本到文本轉換模型，採用GEGLU激活函數並優化架構，專注於無監督預訓練
大型語言模型 英語
T
google
111.29k
17
T5 Base Lm Adapt
Apache-2.0
T5 V1.1語言模型適配版是基於T5架構改進的文本生成模型，通過GEGLU激活函數和語言建模目標優化，顯著提升提示調優效果。
大型語言模型 Transformers 英語
T
google
1,062
17
T5 V1 1 Xxl
Apache-2.0
T5 1.1是谷歌改進的文本到文本轉換Transformer模型，採用GEGLU激活函數和純無監督預訓練策略
大型語言模型 Transformers 英語
T
google
597.64k
116
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase