Qwen3 8B Base

🚀 Qwen3-8B-Base

Qwen3-8B-Base 是 Qwen3 系列中的一款模型，Qwen3 是通义大模型系列的最新一代产品。它在训练数据、模型架构和优化技术等方面进行了大量改进，相比之前的 Qwen2.5 有显著提升。该模型具有多种特性，适用于多种自然语言处理任务。

✨ 主要特性

Qwen3 亮点

Qwen3 是通义系列的最新一代大语言模型，提供了一系列密集型和专家混合（MoE）模型。基于训练数据、模型架构和优化技术的广泛改进，与之前发布的 Qwen2.5 相比，Qwen3 有以下关键提升：

• 扩展的高质量预训练语料库：Qwen3 在 119 种语言的 36 万亿个标记上进行预训练，语言覆盖范围是 Qwen2.5 的三倍，并且包含了更丰富的高质量数据，包括编码、STEM、推理、书籍、多语言和合成数据。
• 训练技术和模型架构：Qwen3 采用了一系列训练技术和架构改进，包括用于 MoE 模型的全局批量负载平衡损失和适用于所有模型的 qk 层归一化，从而提高了稳定性和整体性能。
• 三阶段预训练：第一阶段专注于广泛的语言建模和常识获取；第二阶段提升 STEM、编码和逻辑推理等推理能力；第三阶段通过将训练序列长度扩展到 32k 个标记来增强长上下文理解能力。
• 基于缩放定律的超参数调整：通过对三阶段预训练流程进行全面的缩放定律研究，Qwen3 分别为密集型和 MoE 模型系统地调整关键超参数（如学习率调度器和批量大小），从而在不同模型规模下实现更好的训练动态和最终性能。

模型概述

Qwen3 - 8B - Base 具有以下特点：

更多详细信息，包括基准评估、硬件要求和推理性能，请参考我们的 博客、GitHub 和 文档。

📚 详细文档

环境要求

Qwen3 的代码已集成到最新的 Hugging Face transformers 库中，建议使用最新版本的 transformers。

如果使用 transformers<4.51.0，会遇到以下错误：

KeyError: 'qwen3'

评估与性能

详细的评估结果请参考此 📑 博客。

引用

如果您觉得我们的工作有帮助，请引用我们的工作：

@misc{qwen3,
    title  = {Qwen3},
    url    = {https://qwenlm.github.io/blog/qwen3/},
    author = {Qwen Team},
    month  = {April},
    year   = {2025}
}

📄 许可证

本项目采用 apache - 2.0 许可证。