# 効率的なパラメータ利用

TimeMoE-200Mは、エキスパート混合（Mixture of Experts, MoE）アーキテクチャに基づく十億レベルの時系列基礎モデルで、時系列予測タスクに特化しています。

CodeGen2.5はプログラム合成のための自己回帰型言語モデルシリーズで、CodeGen2を改良し、StarCoderDataでトレーニングされ、小規模ながら高性能を実現しています。

XDocは統一プリトレーニングモデルで、単一のモデルで異なるフォーマットの文書を処理できます。わずか36.7%のパラメータ量で、XDocは下流タスクにおいて同等またはそれ以上の性能を発揮し、実際の展開において顕著なコスト効率を実現します。

T5-Efficient-TINY-NL32はGoogleオリジナルT5のバリエーションで、深層ナローアーキテクチャを採用し、モデルの深さを優先して下流タスクの性能を最適化しています。

T5-Efficient-TINYはGoogleのT5モデルの深層ナロー変種で、モデルの幅ではなく深さを増やすことで下流タスクの性能向上を図っています。

T5-Efficient-TINY-NL2はGoogleオリジナルT5のバリエーションで、深層ナローアーキテクチャを採用し、下流タスクの性能向上に焦点を当てています。

T5-Efficient-BASE-NL48 は Google T5 のバリエーションで、深度狭幅アーキテクチャを採用し、下流タスクの性能向上のためにモデルの深さを優先的に増やしています。

T5効率的ラージ-DM2000はGoogleのT5モデルのバリアントで、深層ナローアーキテクチャを採用し、下流タスクの性能向上のためにモデルの深さを優先的に増やしています。

DeBERTaV3はマイクロソフトが提案した改良版DeBERTaモデルで、ELECTRAスタイルの勾配分離埋め込み共有事前学習方法により効率を向上させ、自然言語理解タスクで優れた性能を発揮します。

T5 - Efficient - BASEはGoogleのT5アーキテクチャをベースにしたバリエーションで、深度狭型設計を採用して下流タスクの性能を最適化し、パラメータ数は2億2290万です。

T5効率的小型-NL22はGoogleのT5モデルの深層ナロー変種で、モデルの深さを増やすことで下流タスクの性能向上に焦点を当てています。

T5-Efficient-SMALL-KV32はGoogleオリジナルT5のバリアントで、深層ナローアーキテクチャを採用し、下流タスクの性能向上に焦点を当てています。

T5-Efficient-TINY-NL8はGoogle T5モデルの効率的なバリアントで、深層ナローアーキテクチャを採用し下流タスクの性能を最適化しています。

T5 - Efficient - SMALL - KV256はGoogleのT5のバリエーションで、深度狭幅アーキテクチャを採用して下流タスクの性能を最適化しています。パラメータ数は1.17億で、微調整が必要です。

T5-Efficient-TINY-FF12000はGoogleオリジナルT5のバリエーションで、深層ナローアーキテクチャを採用し、類似パラメータ数のモデルと比較して優れた下流タスク性能を示します。

T5-Efficient-MINIはGoogleオリジナルT5の変種で、深層ナローアーキテクチャを採用し、パラメータ数が類似するモデルアーキテクチャの中で優れた下流タスク性能を示します。

中国語ELECTRAは、ハルビン工業大学-iFLYTEK共同研究所がGoogleのELECTRAモデルを基にリリースした中国語事前学習モデルで、コンパクトかつ優れた性能を発揮します。

T5-Efficient-SMALL-DM768 は Google のオリジナル T5 のバリエーションで、ディープナローアーキテクチャを採用し、下流タスクの性能向上のためにモデルの深さを優先的に増やしています。

T5-Efficient-SMALLはGoogleオリジナルT5のバリアントで、ディープナローアーキテクチャを採用し、パラメータ数が近い場合、下流タスクの性能が他のアーキテクチャを上回ります。