# マルチタスク適合

OpenCLIP-ViT-L-14モデルをベースに、テスト時レジスタ技術を導入し、モデルの解釈可能性と下流タスクの性能を向上させます。

DeepSeek-R1-Distill-Qwen-14Bは、14Bパラメータ規模の最適化された大規模言語モデルで、DeepSeek AIによってリリースされ、Qwenアーキテクチャに基づいて蒸留され、性能向上のために複数のGGUF量子化バージョンを提供します。

MeowGPT-3.5はGPT-3.5アーキテクチャに基づくマージモデルで、テキスト生成タスクに特化しています。

multilingual-e5-smallは、多言語テキスト処理タスクで優れた性能を発揮するモデルで、分類、検索、クラスタリング、再ランキング、意味的テキスト類似度などの様々なタスクをサポートします。

DeBERTa V3アーキテクチャに基づく日本語の事前学習モデルで、日本語のNLPタスクに最適化されています。

MiniLM v2は、マイクロソフトがRoBERTa-Largeを基に知識蒸留を行って得た軽量型言語モデルで、高効率かつコンパクトな特徴を持っています。

中国語ELECTRAは、グーグルのELECTRAモデルに基づく中国語事前学習モデルで、ハルビン工業大学と科大訊飛の共同研究室によって発表されました。構造がコンパクトで、性能が優れているという特徴があります。

BERT、ALBERT、ELECTRAをベースに構築された大型の生物医学言語モデルで、生物医学分野のタスクに特化しています。

これは、さまざまな自然言語処理タスクに適したミニチュアのロシア語BERTモデルです。

これは疎事前学習のBERT-Baseモデルで、ワンショット剪定方法により90%の重みを疎化し、さまざまな言語タスクの微調整に適しています。

RobBERTjeはRobBERTに基づく一連の蒸留オランダ語モデルで、さまざまなサイズと学習設定のバージョンを提供します。

RobBERTjeはRobBERTに基づく蒸留オランダ語モデルセットのシャッフル版で、パラメータ数は74Mで、シャッフルされたOSCARコーパスを使用して訓練されています。

このモデルはbert-base-uncased-sparse-70-unstructuredをMNLI（GLUEベンチマークテスト）タスクで微調整したもので、他の下流タスクにより簡単にロードして訓練できるように分類器層を削除しています。