# MoE混合专家

Qwen3是通义千问系列最新一代大语言模型，235B参数混合专家(MoE)模型，经INT4量化后显著降低内存占用

MiniCPM-MoE-8x2B是一款基于Transformer架构的混合专家（MoE）语言模型，采用8个专家模块设计，每个token激活2个专家进行处理。