# 轻量级MoE

Phi-mini-MoE是一个轻量级的专家混合（MoE）模型，适用于英语的商业和研究场景，在资源受限环境和低延迟场景中表现出色。

TinyMixtral-4x248M-MoE 是一个采用混合专家（MoE）架构的小型语言模型，通过融合多个TinyMistral变体而成，适用于文本生成任务。