# 混合專家模型

Qwen3是通義千問系列最新一代大語言模型，提供稠密模型和混合專家（MoE）模型的完整套件。基於大規模訓練，Qwen3在推理能力、指令遵循、智能體功能和多語言支持方面實現了突破性進展。

Qwen3是通義千問系列最新一代大語言模型，提供完整的稠密模型與混合專家（MoE）模型組合。基於大規模訓練，Qwen3在推理能力、指令遵循、智能體功能及多語言支持方面實現突破性進展。

Qwen3是Qwen系列最新一代的大語言模型，提供了一系列密集和混合專家（MoE）模型。基於廣泛的訓練，Qwen3在推理、指令遵循、代理能力和多語言支持方面取得了突破性進展。

Qwen3 是 Qwen 系列最新一代的大語言模型，提供了一系列密集和混合專家（MoE）模型。基於廣泛的訓練，Qwen3 在推理、指令遵循、代理能力和多語言支持方面取得了突破性進展。

Qwen3是Qwen系列最新一代的大語言模型，提供了一系列密集和混合專家（MoE）模型。基於廣泛的訓練，Qwen3在推理、指令遵循、代理能力和多語言支持方面實現了突破性進展。

Qwen3-30B-A3B-Base是通義千問系列最新一代30.5B參數規模的混合專家（MoE）大語言模型，支持119種語言和32k上下文長度。

一個以成為AI虛擬主播靈魂為目標的混合專家模型，結合了代碼生成、指令跟隨和多輪對話能力

基於多個12B參數模型的混合模型，專注於俄語和英語的角色扮演與文本生成

實驗性角色扮演導向的混合專家模型，目標是打造在角色扮演/情感角色扮演任務中表現不遜於或優於Mixtral 8x7B及其微調版本的模型。

雪花北極是由雪花AI研究團隊開發的密集混合專家（MoE）架構大語言模型，具有4800億參數，專為高效文本和代碼生成設計。

J.O.S.I.E.3-Beta12-7B-slerp 是一個通過合併 Weyaxi/Einstein-v6-7B 和 argilla/CapybaraHermes-2.5-Mistral-7B 模型而成的7B參數大語言模型，支持多語言交互，採用ChatML提示格式。

Arctic是由雪花AI研究團隊開發的密集混合專家（MoE）架構大語言模型，具有4800億參數，以Apache-2.0許可證開源。

基於abacusai/Llama-3-Smaug-8B的GGUF格式量化模型，支持2-8比特量化級別，適用於文本生成任務

Copus-2x8B 是一個基於 Llama-3-8B 架構的混合專家模型，結合了 dreamgen/opus-v1.2-llama-3-8b 和 NousResearch/Meta-Llama-3-8B-Instruct 兩個微調版本。

基於Mixtral-8x22B-v0.1微調的1410億參數混合專家模型(MoE)，激活參數350億，主要用於英語文本生成任務

Mixtral-8x22B-v0.1的量化版本，使用llama.cpp進行量化，支持多種語言和量化類型。

LiteLlama-460M-1T 是一個輕量級的混合專家模型，包含512位專家，適用於高效推理和文本生成任務。

基於Dolphin-2.6-Mistral-7B-DPO-Laser的中等規模混合專家(MoE)實現，在評估性能上平均提升約1分

phixtral-2x2_8 是首個基於兩個 microsoft/phi-2 模型構建的混合專家模型（MoE），其表現優於每個單獨的專家模型。