# 多任務優化

Instella-Long是由AMD開發的支持128K上下文長度的3B參數開源語言模型，在長上下文基準測試中表現優異。

靈曦是由InclusionAI開源的大規模混合專家語言模型，精簡版擁有168億總參數與27.5億激活參數，展現出卓越性能表現。

xGen-small是一款企業級緊湊型語言模型，通過領域聚焦的數據整理、可擴展的預訓練、長度擴展和強化學習微調，以可預測的低成本實現長上下文性能表現。

OLMo 2 1B指令版是基於OLMo-2-0425-1B-RLVR1模型的後訓練變體，經過監督微調、DPO訓練和RLVR訓練，旨在實現多種任務的最先進性能。

OLMo 2 1B是基於allenai/OLMo-2-0425-1B-RLVR1模型的後訓練變體，經過監督微調、DPO訓練和RLVR訓練，旨在實現多種任務的最先進性能。

這是一個通過SLERP方法融合的預訓練語言模型，結合了Captain-Eris_Violet-GRPO-v0.420和MMR-E1兩個模型的特點。

基於SCE融合方法構建的32B參數規模大語言模型，融合了多個高性能預訓練模型

DeepSeek-R1是深度求索推出的第一代推理模型，通過大規模強化學習訓練，在數學、代碼和推理任務上表現優異。

基於ModernBERT預訓練編碼器的文本嵌入模型，支持8192 tokens長文本處理，在MTEB、LoCO和COIR等評估任務中表現優異。

瑠璃是一個日語通用文本嵌入模型，專注於句子相似度計算和特徵提取，基於cl-nagoya/ruri-pt-small-v2基礎模型訓練。

Ruri是一個專注於日語文本嵌入的模型，能夠高效計算句子相似度和提取文本特徵。

Ruri是一個針對日語的通用文本嵌入模型，專注於句子相似度和特徵提取任務。

SILMA-9B-Instruct-v1.0是一個90億參數的開源阿拉伯語大語言模型，在阿拉伯語任務中表現優異，基於谷歌Gemma架構構建。

高質量俄語句子嵌入計算BERT模型，基於cointegrated/LaBSE-en-ru優化，適用於語義文本相似度任務

Beyonder-4x7B-v2是一個基於混合專家模型（MoE）架構的大語言模型，由4個專家模塊組成，專注於不同領域的任務，如對話、編程、創意寫作和數學推理。

LERT是一種基於語言學理論驅動的預訓練語言模型，旨在通過語言學知識增強模型性能。

GottBERT是首個專為德語設計的RoBERTa模型，基於OSCAR數據集的德語部分進行預訓練，提供基礎版和大模型版兩個版本。

基於ELECTRA基礎架構訓練的印地語預訓練語言模型，在多項印地語NLP任務中表現優於多語言BERT

基於300G中文語料預訓練的BERT模型，採用MLM、POS和SOP任務訓練