# マルチタスク最適化

Instella-LongはAMDによって開発された、128Kの文脈長をサポートする3Bパラメータのオープンソース言語モデルで、長文脈ベンチマークテストで優れた性能を発揮します。

霊曦はInclusionAIがオープンソース化した大規模混合エキスパート言語モデルで、簡易版は総パラメータ168億、活性化パラメータ27.5億を有し、卓越した性能を発揮します。

xGen-smallはエンタープライズ向けのコンパクトな言語モデルで、ドメイン特化型データキュレーション、スケーラブルな事前学習、長文脈拡張、強化学習による微調整を通じて、予測可能な低コストで長文脈性能を実現します。

OLMo 2 1B命令版はOLMo-2-0425-1B-RLVR1モデルのポストトレーニングバリアントで、教師ありファインチューニング、DPOトレーニング、RLVRトレーニングを経ており、様々なタスクで最先端の性能を実現することを目的としています。

OLMo 2 1Bはallenai/OLMo-2-0425-1B-RLVR1モデルの後訓練バリアントで、教師あり微調整、DPOトレーニング、RLVRトレーニングを経ており、様々なタスクで最先端の性能を実現することを目的としています。

これはSLERP法によって融合された事前学習済み言語モデルで、Captain-Eris_Violet-GRPO-v0.420とMMR-E1の2つのモデルの特徴を組み合わせています。

SCE融合手法に基づいて構築された32Bパラメータ規模の大規模言語モデルで、複数の高性能事前学習モデルを融合

DeepSeek-R1は深度求索が開発した第一世代推論モデルで、大規模な強化学習トレーニングにより、数学、コード、推論タスクで優れた性能を発揮します。

ModernBERT事前学習エンコーダーに基づくテキスト埋め込みモデルで、8192トークンの長文処理をサポートし、MTEB、LoCO、COIRなどの評価タスクで優れた性能を発揮します。

瑠璃は日本語汎用テキスト埋め込みモデルで、文類似度計算と特徴抽出に特化しており、cl-nagoya/ruri-pt-small-v2ベースモデルでトレーニングされています。

Ruriは日本語テキスト埋め込みに特化したモデルで、文の類似度計算やテキスト特徴抽出を効率的に行えます。

Ruriは日本語に特化した汎用テキスト埋め込みモデルで、文の類似度計算と特徴抽出タスクに焦点を当てています。

SILMA-9B-Instruct-v1.0は90億パラメータのオープンソースアラビア語大規模言語モデルで、アラビア語タスクで優れた性能を発揮し、GoogleのGemmaアーキテクチャに基づいて構築されています。

高品質なロシア語文章埋め込み計算用BERTモデル、cointegrated/LaBSE-en-ruを基に最適化、意味的テキスト類似度タスクに適応

Beyonder-4x7B-v2は、混合エキスパートモデル（MoE）アーキテクチャに基づく大規模言語モデルで、4つのエキスパートモジュールで構成され、会話、プログラミング、クリエイティブライティング、数学的推論などのさまざまな分野のタスクに特化しています。

LERTは言語学理論に基づく事前学習言語モデルで、言語学知識を活用してモデル性能を向上させることを目的としています。

ELECTRAの基礎アーキテクチャに基づいて訓練されたヒンディー語の事前学習言語モデルで、複数のヒンディー語NLPタスクで多言語BERTよりも優れた性能を発揮します。

GottBERTはドイツ語専用に設計された初のRoBERTaモデルで、OSCARデータセットのドイツ語部分に基づいて事前学習され、基本版と大規模版の2つのバージョンを提供します。

300Gの中国語コーパスに基づいて事前学習されたBERTモデルで、MLM、POS、SOPタスクを用いて学習