# 三階段預訓練

Qwen3-1.7B-Base是通義千問系列最新一代大語言模型，提供高質量的預訓練語言模型能力。

Qwen3-1.7B-Base是通義系列最新一代大語言模型，提供了一系列密集模型和專家混合（MoE）模型，在訓練數據、模型架構和優化技術等方面進行了大量改進。

Qwen3-0.6B-Base是通義系列最新一代大語言模型，具有0.6B參數規模，支持119種語言，上下文長度達32,768標記。

Qwen3-0.6B-Base是通義千問系列的最新一代大語言模型，提供了一系列密集模型和混合專家（MoE）模型。

Qwen3-1.7B是通義千問系列最新一代17億參數基礎語言模型，採用三階段預訓練體系，支持32k上下文長度。

Qwen3是通義千問系列最新一代大語言模型，提供完整的稠密模型與混合專家（MoE）模型體系，覆蓋119種語言的36萬億token預訓練數據。

PISCES 是一個預訓練的多語言摘要生成模型，通過三階段預訓練過程掌握語言建模、跨語言能力和摘要生成能力。

基於ALBERT-base-v2架構，通過Math StackExchange數據三階段預訓練，優化數學公式切分效果，用於數學問答匹配任務