# クロスタスク微調整

BAAI/bge-small-en-v1.5モデルを微調整したテキスト埋め込みモデルで、MEDIデータセットとMTEB分類タスクデータセットで訓練され、検索タスクのクエリエンコーディング能力を最適化しました。

T5 - Efficient - BASEはGoogleのT5アーキテクチャをベースにしたバリエーションで、深度狭型設計を採用して下流タスクの性能を最適化し、パラメータ数は2億2290万です。

T5 - Efficient - SMALL - KV256はGoogleのT5のバリエーションで、深度狭幅アーキテクチャを採用して下流タスクの性能を最適化しています。パラメータ数は1.17億で、微調整が必要です。

T5-Efficient-BASE-FF9000はGoogleのオリジナル版T5のバリエーションで、深度狭型アーキテクチャを採用しており、パラメータ規模が似ている場合でも、下流タスクでの性能がより優れています。

T5-Efficient-LARGEはGoogleのT5をベースにしたバリエーションで、深度狭幅アーキテクチャを採用して下流タスクの性能を最適化し、7.377億個のパラメータを持っています。

T5-Efficient-BASE-FF6000はGoogleのオリジナルT5のバリエーションで、深度狭幅アーキテクチャを採用しており、パラメータ数が近いモデルアーキテクチャの中で、下流タスクの性能に優れています。