Qwen3 8B Base

🚀 Qwen3-8B-Base

Qwen3-8B-Base 是 Qwen3 系列中的一款模型，Qwen3 是通義大模型系列的最新一代產品。它在訓練數據、模型架構和優化技術等方面進行了大量改進，相比之前的 Qwen2.5 有顯著提升。該模型具有多種特性，適用於多種自然語言處理任務。

✨ 主要特性

Qwen3 亮點

Qwen3 是通義系列的最新一代大語言模型，提供了一系列密集型和專家混合（MoE）模型。基於訓練數據、模型架構和優化技術的廣泛改進，與之前發佈的 Qwen2.5 相比，Qwen3 有以下關鍵提升：

• 擴展的高質量預訓練語料庫：Qwen3 在 119 種語言的 36 萬億個標記上進行預訓練，語言覆蓋範圍是 Qwen2.5 的三倍，並且包含了更豐富的高質量數據，包括編碼、STEM、推理、書籍、多語言和合成數據。
• 訓練技術和模型架構：Qwen3 採用了一系列訓練技術和架構改進，包括用於 MoE 模型的全局批量負載平衡損失和適用於所有模型的 qk 層歸一化，從而提高了穩定性和整體性能。
• 三階段預訓練：第一階段專注於廣泛的語言建模和常識獲取；第二階段提升 STEM、編碼和邏輯推理等推理能力；第三階段通過將訓練序列長度擴展到 32k 個標記來增強長上下文理解能力。
• 基於縮放定律的超參數調整：通過對三階段預訓練流程進行全面的縮放定律研究，Qwen3 分別為密集型和 MoE 模型系統地調整關鍵超參數（如學習率調度器和批量大小），從而在不同模型規模下實現更好的訓練動態和最終性能。

模型概述

Qwen3 - 8B - Base 具有以下特點：

更多詳細信息，包括基準評估、硬件要求和推理性能，請參考我們的 博客、GitHub 和 文檔。

📚 詳細文檔

環境要求

Qwen3 的代碼已集成到最新的 Hugging Face transformers 庫中，建議使用最新版本的 transformers。

如果使用 transformers<4.51.0，會遇到以下錯誤：

KeyError: 'qwen3'

評估與性能

詳細的評估結果請參考此 📑 博客。

引用

如果您覺得我們的工作有幫助，請引用我們的工作：

@misc{qwen3,
    title  = {Qwen3},
    url    = {https://qwenlm.github.io/blog/qwen3/},
    author = {Qwen Team},
    month  = {April},
    year   = {2025}
}

📄 許可證

本項目採用 apache - 2.0 許可證。