Qwen3 14B Base

🚀 Qwen3-14B-Base

Qwen3-14B-Baseは、Qwenシリーズの最新世代の大規模言語モデルです。高密度モデルとエキスパート混合（MoE）モデルを総合的に提供し、多言語に対応した高性能な言語処理能力を備えています。

🚀 クイックスタート

Qwen3-14B-Baseは、Qwenシリーズの最新モデルで、多言語に対応した高密度モデルとエキスパート混合（MoE）モデルを提供します。このモデルは、事前学習データ、モデルアーキテクチャ、最適化手法などの面で大幅な進歩を遂げており、Qwen2.5に比べて多くの改善点を備えています。

✨ 主な機能

Qwen3の特長

Qwen3は、Qwenシリーズの最新世代の大規模言語モデルで、高密度モデルとエキスパート混合（MoE）モデルのコンプリートセットを提供します。学習データ、モデルアーキテクチャ、最適化手法の大幅な進歩に基づき、以前にリリースされたQwen2.5に比べて、以下の主要な改善点を実現しています。

• 拡張された高品質事前学習コーパス：Qwen3は、119言語で36兆トークンの事前学習を行っており、Qwen2.5の言語カバレッジを3倍に拡大しています。コーディング、STEM、推論、書籍、多言語、合成データなど、非常に豊富な高品質データを含んでいます。
• 学習手法とモデルアーキテクチャ：Qwen3は、一連の学習手法とアーキテクチャの改良を取り入れており、MoEモデルのグローバルバッチ負荷分散損失や、すべてのモデルに適用されるqk layernormなどが含まれ、安定性と全体的なパフォーマンスが向上しています。
• 三段階事前学習：第1段階は、広範な言語モデリングと一般知識の獲得に焦点を当て、第2段階はSTEM、コーディング、論理推論などの推論スキルを向上させ、第3段階は学習シーケンス長を最大32kトークンまで拡張することで、長文脈理解能力を強化しています。
• スケーリング則に基づくハイパーパラメータ調整：三段階事前学習パイプライン全体で包括的なスケーリング則研究を通じて、Qwen3は高密度モデルとMoEモデルそれぞれに対して、学習率スケジューラーやバッチサイズなどの重要なハイパーパラメータを体系的に調整し、異なるモデル規模での学習ダイナミクスと最終的なパフォーマンスを向上させています。

モデル概要

Qwen3-14B-Base は以下の特徴を持っています。

ベンチマーク評価、ハードウェア要件、推論パフォーマンスなどの詳細については、ブログ、GitHub、およびドキュメントを参照してください。

📦 インストール

Qwen3のコードは最新のHugging Face transformers に含まれており、最新バージョンの transformers を使用することをお勧めします。

transformers<4.51.0 を使用すると、以下のエラーが発生する場合があります。

KeyError: 'qwen3'

📚 ドキュメント

評価とパフォーマンス

詳細な評価結果は、この📃 ブログに報告されています。

引用

もし当社の成果が役立った場合は、ぜひ引用してください。

@misc{qwen3,
    title  = {Qwen3},
    url    = {https://qwenlm.github.io/blog/qwen3/},
    author = {Qwen Team},
    month  = {April},
    year   = {2025}
}

📄 ライセンス

このライブラリはApache-2.0ライセンスの下で提供されています。