# 英語の事前学習

T5-Efficient-BASE-NL48 は Google T5 のバリエーションで、深度狭幅アーキテクチャを採用し、下流タスクの性能向上のためにモデルの深さを優先的に増やしています。

T5 - Efficient - BASEはGoogleのT5アーキテクチャをベースにしたバリエーションで、深度狭型設計を採用して下流タスクの性能を最適化し、パラメータ数は2億2290万です。

T5 - Efficient - SMALL - KV256はGoogleのT5のバリエーションで、深度狭幅アーキテクチャを採用して下流タスクの性能を最適化しています。パラメータ数は1.17億で、微調整が必要です。

T5-Efficient-BASE-FF9000はGoogleのオリジナル版T5のバリエーションで、深度狭型アーキテクチャを採用しており、パラメータ規模が似ている場合でも、下流タスクでの性能がより優れています。

T5-Efficient-LARGEはGoogleのT5をベースにしたバリエーションで、深度狭幅アーキテクチャを採用して下流タスクの性能を最適化し、7.377億個のパラメータを持っています。