# 高效參數利用

TimeMoE-200M 是一個基於專家混合（Mixture of Experts, MoE）架構的十億級時間序列基礎模型，專注於時間序列預測任務。

CodeGen2.5是一個用於程序合成的自迴歸語言模型系列，基於CodeGen2改進，在StarCoderData上訓練，以較小規模實現高性能。

XDoc 是一個統一預訓練模型，能夠通過單一模型處理不同格式的文檔。僅需36.7%的參數量，XDoc在下游任務中即可實現相當或更優的性能表現，在實際部署中具有顯著成本效益。

T5-Efficient-SMALL-DM768 是 Google 原始 T5 的一個變體，採用深度窄型架構，優先增加模型深度以提高下游性能。

中文ELECTRA是哈工大-訊飛聯合實驗室基於谷歌ELECTRA模型發佈的中文預訓練模型，體積小且性能優越。

T5-Efficient-BASE-NL48 是 Google T5 的變體，採用深度窄型架構，優先增加模型深度以提高下游任務性能。

T5-Efficient-TINY-NL2是Google原版T5的一個變種，採用深度窄型架構，專注於提高下游任務性能。

T5-Efficient-TINY-NL8是Google T5模型的一個高效變體，採用深度窄型架構優化下游任務性能。

T5-Efficient-SMALL-KV32是Google原版T5的一個變體，採用深度窄型架構，專注於提高下游任務性能。

T5-Efficient-BASE是基於谷歌T5架構的變體，採用深度窄型設計優化下游任務表現，參數量2.229億

T5-Efficient-SMALL-KV256是谷歌T5的變體，採用深度窄型架構優化下游任務性能，參數量1.17億，需微調使用。

T5-Efficient-SMALL是Google原版T5的一個變體，採用深度窄型架構，在參數數量相近的情況下，下游任務性能優於其他架構。

DeBERTaV3是微軟提出的改進版DeBERTa模型，通過ELECTRA風格的梯度解耦嵌入共享預訓練方法提升效率，在自然語言理解任務中表現優異。

T5-Efficient-MINI是谷歌原版T5的一個變體，採用深度窄型架構，在參數數量相似的模型架構中表現出更優的下游任務性能。

T5-Efficient-TINY-FF12000是Google原始T5的一個變體，採用深度窄型架構，在參數數量相近的模型中表現出更優的下游任務性能。

T5高效小型-NL22是谷歌T5模型的深度窄型變體，專注於通過增加模型深度提升下游任務性能。

T5-Efficient-TINY-NL32是Google原版T5的一個變體，採用深度窄型架構，優先增加模型深度以優化下游任務性能。

T5-Efficient-TINY是谷歌T5模型的深度窄型變體，專注於通過增加模型深度而非寬度來提升下游任務性能。

T5高效大型-DM2000是谷歌T5模型的一個變體，採用深度窄型架構，優先增加模型深度以提高下游任務性能。