Qwen3 8B Base Bnb 4bit

🚀 Qwen3-8B-Base

Qwen3-8B-Base是一款强大的大语言模型，基于Qwen系列最新技术，在训练数据、模型架构等多方面进行了显著优化，能为用户提供更精准、高效的语言交互体验。

📦 安装指南

Qwen3的代码已集成在最新版的Hugging Face transformers库中，建议你使用transformers的最新版本。

若使用transformers<4.51.0，会遇到如下错误：

KeyError: 'qwen3'

✨ 主要特性

Qwen3亮点

Qwen3是Qwen系列的最新一代大语言模型，提供了一系列密集模型和专家混合（MoE）模型。在训练数据、模型架构和优化技术等方面进行了大量改进，与之前发布的Qwen2.5相比，Qwen3有以下关键提升：

• 扩展的高质量预训练语料库：Qwen3在119种语言的36万亿个标记上进行预训练，语言覆盖范围是Qwen2.5的三倍，并且包含了更丰富的高质量数据，如编码、STEM、推理、书籍、多语言和合成数据。
• 训练技术和模型架构：Qwen3采用了一系列训练技术和架构优化，包括用于MoE模型的全局批量负载平衡损失和适用于所有模型的qk层归一化，提高了模型的稳定性和整体性能。
• 三阶段预训练：第一阶段专注于广泛的语言建模和通用知识获取；第二阶段提升推理能力，如STEM、编码和逻辑推理；第三阶段通过将训练序列长度扩展到32k标记来增强长上下文理解能力。
• 基于缩放定律的超参数调整：通过对三阶段预训练流程进行全面的缩放定律研究，Qwen3分别为密集模型和MoE模型系统地调整关键超参数，如学习率调度器和批量大小，从而在不同模型规模下实现更好的训练动态和最终性能。

模型概述

Qwen3-8B-Base具有以下特点：

更多详细信息，包括基准评估、硬件要求和推理性能，请参考博客、GitHub和文档。

📚 详细文档

评估与性能

详细的评估结果请参考📑 博客。

引用

如果您觉得我们的工作有帮助，请引用以下内容：

@misc{qwen3technicalreport,
      title={Qwen3 Technical Report}, 
      author={Qwen Team},
      year={2025},
      eprint={2505.09388},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.09388}, 
}

Unsloth Dynamic 2.0实现了卓越的准确性，优于其他领先的量化方法。