# MoE架構

Qwen3是Qwen系列最新一代的大語言模型，提供了一系列密集和混合專家（MoE）模型。基於廣泛的訓練，Qwen3在推理、指令遵循、代理能力和多語言支持方面取得了突破性進展。

Qwen3-235B-A22B是通義大模型系列的最新一代產品，提供了一系列密集和混合專家（MoE）模型，在推理、指令遵循、智能體能力和多語言支持方面取得了突破性進展。

Qwen3-14B-Base是通義千問系列最新一代大語言模型，提供148億參數的稠密模型，支持32k上下文長度，覆蓋119種語言。

Qwen3-4B-Base是通義千問系列最新一代40億參數量的預訓練語言模型，支持32k上下文長度和多語言處理。

通義千問系列最新一代大語言模型，提供148億參數的預訓練基礎模型，支持32k超長上下文理解

Qwen3-1.7B是通義千問系列最新一代17億參數基礎語言模型，採用三階段預訓練體系，支持32k上下文長度。

Qwen3-4B-Base是通義千問系列最新一代40億參數大語言模型，基於36萬億token的多語言數據預訓練，支持32k上下文長度。

CNMBert是一個專門用於翻譯拼音縮寫的模型，基於Chinese-BERT-wwm訓練，通過修改預訓練任務適配拼音縮寫翻譯任務。

DeepSeek-R1 是 DeepSeek 推出的第一代推理模型，通過強化學習訓練而成，在數學、代碼和推理任務上表現優異。

一個用於翻譯拼音縮寫的模型，基於Chinese-BERT-wwm訓練，適配拼音縮寫翻譯任務。

Granite-3.1-1B-A400M-Base 是 IBM 開發的一款語言模型，通過漸進式訓練策略將上下文長度從4K擴展到128K，支持多語言和多種文本處理任務。

JetMoE-8B是一款高效開源大語言模型，以不足10萬美元的訓練成本達到LLaMA2-7B性能水平，專為低資源環境設計。