Qwen3 8B Base Unsloth Bnb 4bit

🚀 Qwen3-8B-Base

Unsloth Dynamic 2.0は、卓越した精度を達成し、他の主要な量子化手法を上回ります。Unslothについて詳しくは、Unsloth公式サイト、GitHubリポジトリ、Discordコミュニティ、ドキュメントをご覧ください。

Unsloth Dynamic 2.0 は、卓越した精度を達成し、他の主要な量子化手法を上回ります。

✨ 主な機能

Qwen3の特長

Qwen3はQwenシリーズの最新世代の大規模言語モデルで、高密度モデルとエキスパート混合（MoE）モデルの包括的なセットを提供します。訓練データ、モデルアーキテクチャ、最適化手法における広範な進歩に基づき、Qwen3は以前にリリースされたQwen2.5に比べて以下の主要な改善を実現しています。

• 拡張された高品質事前学習コーパス：Qwen3は119言語にわたる36兆トークンで事前学習されており、Qwen2.5の言語カバレッジを3倍に拡大し、コーディング、STEM、推論、書籍、多言語、合成データなどの非常に豊富な高品質データを含んでいます。
• 訓練手法とモデルアーキテクチャ：Qwen3は、MoEモデルのグローバルバッチ負荷均衡損失やすべてのモデルのqkレイヤー正規化など、一連の訓練手法とアーキテクチャの改良を組み込んでおり、安定性と全体的なパフォーマンスの向上につながっています。
• 三段階事前学習：第1段階は広範な言語モデリングと一般知識の獲得に焦点を当て、第2段階はSTEM、コーディング、論理推論などの推論スキルを向上させ、第3段階は訓練シーケンス長を最大32kトークンに拡張することで長文脈理解を強化します。
• スケーリング則に基づくハイパーパラメータチューニング：三段階事前学習パイプライン全体での包括的なスケーリング則研究を通じて、Qwen3は高密度モデルとMoEモデルそれぞれに対して学習率スケジューラーやバッチサイズなどの重要なハイパーパラメータを系統的にチューニングし、異なるモデル規模での訓練ダイナミクスと最終的なパフォーマンスを向上させています。

モデル概要

Qwen3-8B-Base は以下の特徴を持っています。

ベンチマーク評価、ハードウェア要件、推論パフォーマンスなどの詳細については、ブログ、GitHub、ドキュメントを参照してください。

📦 インストール

Qwen3のコードは最新のHugging Face transformers に含まれており、最新バージョンの transformers の使用を推奨します。

transformers<4.51.0 を使用すると、以下のエラーが発生する場合があります。

KeyError: 'qwen3'

📚 ドキュメント

評価とパフォーマンス

詳細な評価結果はこの📑 ブログに報告されています。

引用

もし当社の成果が役立った場合は、ぜひ引用してください。

@misc{qwen3technicalreport,
      title={Qwen3 Technical Report}, 
      author={Qwen Team},
      year={2025},
      eprint={2505.09388},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.09388}, 
}

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で提供されています。