# 專家混合架構

多語言專家混合文本嵌入模型，支持約100種語言，在多語言檢索方面表現卓越。

Qwen3-235B-A22B 是一個2350億參數的大型語言模型，經過ik_llama.cpp分支的先進非線性量化處理，適用於高性能計算環境。

Doge模型採用動態掩碼注意力機制進行序列轉換，並可使用多層感知機或跨域專家混合進行狀態轉換。

這是一個Qwen2.5 MOE（專家混合）模型，由兩個Qwen 2.5 DeepSeek（審查版/普通版和無審查版）1.5B模型組成，形成一個4B模型，其中無審查版本的DeepSeek Qwen 2.5 1.5B主導模型行為。

Hiber-Multi-10B-Instruct 是一個基於 Transformer 架構的先進多語言大模型，支持多種語言，具有100億參數，適用於文本生成任務。

Nomic Embed v2 是一款高性能多語言專家混合(MoE)文本嵌入模型，支持約100種語言，在多語言檢索任務中表現卓越。

基於Llama 3.2的專家混合模型，整合四個3B模型形成10B參數模型，支持128k上下文長度，擅長指令遵循和全場景生成。

TimeMoE-200M 是一個基於專家混合（Mixture of Experts, MoE）架構的十億級時間序列基礎模型，專注於時間序列預測任務。

TimeMoE是一個基於專家混合(MoE)架構的十億級時間序列基礎模型，專注於時間序列預測任務。

ChartMoE是基於InternLM-XComposer2的多模態大語言模型，採用專家混合連接器，具備高級圖表功能。

DeepSeek-V2-Lite 是一款經濟高效的專家混合（MoE）語言模型，總參數量16B，激活參數量2.4B，支持32k上下文長度。

Databricks開發的專家混合(MoE)大語言模型，專精於少量輪次交互場景

基於專家混合（MoE）架構微調的語言模型，通過LazyMergekit框架融合多個模型，在指令任務中表現出色。

MoE-LLaVA是一種基於專家混合架構的大型視覺語言模型，通過稀疏激活參數實現高效的多模態學習

MoFE是一種用於控制抽象摘要中幻覺生成的模型，通過混合事實專家來減少摘要中的不準確信息。

基於Artetxe等人論文《高效大規模語言建模與專家混合方法》的27億參數稠密模型轉換版本