Qwen3 8B Base

🚀 Qwen3-8B-Base

Qwen3-8B-Baseは、Qwenシリーズの最新の大規模言語モデルです。高密度モデルとエキスパート混合（MoE）モデルを提供し、トレーニングデータ、モデルアーキテクチャ、最適化手法などで大幅な進歩を遂げています。

🚀 クイックスタート

このモデルを使用するには、最新バージョンのtransformersライブラリを使用することをおすすめします。Qwen3のコードは最新のHugging Face transformersに含まれています。

transformers<4.51.0を使用すると、以下のエラーが発生する可能性があります。

KeyError: 'qwen3'

✨ 主な機能

Qwen3の特長

Qwen3はQwenシリーズの最新世代の大規模言語モデルで、高密度モデルとエキスパート混合（MoE）モデルの包括的なセットを提供します。トレーニングデータ、モデルアーキテクチャ、最適化手法の大幅な進歩に基づき、以前にリリースされたQwen2.5に比べて以下の主要な改善を実現しています。

• 拡張された高品質事前学習コーパス：Qwen3は119言語で36兆トークンの事前学習を行っており、Qwen2.5の言語カバレッジを3倍に拡大し、コーディング、STEM、推論、書籍、多言語、合成データなどの非常に豊富な高品質データを含んでいます。
• トレーニング手法とモデルアーキテクチャ：Qwen3は一連のトレーニング手法とアーキテクチャの改良を組み込んでおり、MoEモデルのグローバルバッチ負荷均衡損失とすべてのモデルのqkレイヤー正規化を含み、安定性と全体的なパフォーマンスの向上につながっています。
• 三段階事前学習：第1段階は広範な言語モデリングと一般知識の獲得に焦点を当て、第2段階はSTEM、コーディング、論理推論などの推論スキルを向上させ、第3段階はトレーニングシーケンス長を最大32kトークンに拡張することで長文脈理解を強化します。
• スケーリング則に基づくハイパーパラメータ調整：三段階事前学習パイプライン全体での包括的なスケーリング則の研究を通じて、Qwen3は高密度モデルとMoEモデルそれぞれについて学習率スケジューラやバッチサイズなどの重要なハイパーパラメータを体系的に調整し、異なるモデルスケールでのトレーニングダイナミクスと最終的なパフォーマンスを向上させています。

Qwen3-8B-Baseの特徴

ベンチマーク評価、ハードウェア要件、推論パフォーマンスなどの詳細については、ブログ、GitHub、およびドキュメントを参照してください。

📚 ドキュメント

評価とパフォーマンス

詳細な評価結果は、この📑 ブログに報告されています。

引用

もしあなたが私たちの仕事が役に立ったと感じたら、ぜひ引用してください。

@misc{qwen3,
    title  = {Qwen3},
    url    = {https://qwenlm.github.io/blog/qwen3/},
    author = {Qwen Team},
    month  = {April},
    year   = {2025}
}

📄 ライセンス

このモデルはapache-2.0ライセンスの下で提供されています。