# MoE架构

Qwen3是Qwen系列最新一代的大语言模型，提供了一系列密集和混合专家（MoE）模型。基于广泛的训练，Qwen3在推理、指令遵循、代理能力和多语言支持方面取得了突破性进展。

Qwen3-235B-A22B是通义大模型系列的最新一代产品，提供了一系列密集和混合专家（MoE）模型，在推理、指令遵循、智能体能力和多语言支持方面取得了突破性进展。

Qwen3-14B-Base是通义千问系列最新一代大语言模型，提供148亿参数的稠密模型，支持32k上下文长度，覆盖119种语言。

Qwen3-4B-Base是通义千问系列最新一代40亿参数量的预训练语言模型，支持32k上下文长度和多语言处理。

通义千问系列最新一代大语言模型，提供148亿参数的预训练基础模型，支持32k超长上下文理解

Qwen3-1.7B是通义千问系列最新一代17亿参数基础语言模型，采用三阶段预训练体系，支持32k上下文长度。

Qwen3-4B-Base是通义千问系列最新一代40亿参数大语言模型，基于36万亿token的多语言数据预训练，支持32k上下文长度。

CNMBert是一个专门用于翻译拼音缩写的模型，基于Chinese-BERT-wwm训练，通过修改预训练任务适配拼音缩写翻译任务。

DeepSeek-R1 是 DeepSeek 推出的第一代推理模型，通过强化学习训练而成，在数学、代码和推理任务上表现优异。

一个用于翻译拼音缩写的模型，基于Chinese-BERT-wwm训练，适配拼音缩写翻译任务。

Granite-3.1-1B-A400M-Base 是 IBM 开发的一款语言模型，通过渐进式训练策略将上下文长度从4K扩展到128K，支持多语言和多种文本处理任务。

JetMoE-8B是一款高效开源大语言模型，以不足10万美元的训练成本达到LLaMA2-7B性能水平，专为低资源环境设计。