Qwen3 0.6B Base Unsloth Bnb 4bit

🚀 Qwen3-0.6B-Base

Qwen3-0.6B-BaseはQwenシリーズの最新世代の大規模言語モデルで、豊富な密集モデルとエキスパート混合（MoE）モデルを提供しています。このモデルは、訓練データ、モデルアーキテクチャ、最適化技術などの面で著しい進歩を遂げ、以前にリリースされたQwen2.5と比較して多面的な向上が見られます。

✨ 主な機能

Qwen3の特長

Qwen3は通義シリーズの最新世代の大規模言語モデルで、包括的な密集モデルとエキスパート混合（MoE）モデルのセットを提供しています。訓練データ、モデルアーキテクチャ、最適化技術に関する幅広い改良に基づき、以前にリリースされたQwen2.5と比較して、Qwen3には以下の重要な改良があります。

• 拡張された高品質事前訓練コーパス：Qwen3は119種類の言語の36兆個のトークンで事前訓練されており、言語のカバー範囲はQwen2.5の3倍で、コーディング、STEM、推論、書籍、多言語、合成データなど、より豊富な高品質データを含んでいます。
• 訓練技術とモデルアーキテクチャ：Qwen3は、MoEモデル用のグローバルバッチ負荷均衡損失や、すべてのモデルに適用されるqk層正規化など、一連の訓練技術とアーキテクチャの改良を採用しており、安定性と全体的な性能を向上させています。
• 三段階事前訓練：第一段階は広範な言語モデリングと一般知識の獲得に焦点を当て、第二段階はSTEM、コーディング、論理推論などの推論能力を向上させ、第三段階は訓練シーケンス長を32kトークンに拡張することで、長文脈理解能力を強化しています。
• スケーリング則に基づく超パラメータ調整：Qwen3は、三段階事前訓練プロセスにおける包括的なスケーリング則研究を通じて、密集モデルとMoEモデルそれぞれに対して、学習率スケジューラやバッチサイズなどの重要な超パラメータを体系的に調整し、異なるモデル規模でより良い訓練ダイナミクスと最終性能を実現しています。

モデル概要

Qwen3 - 0.6B - Base は以下の特徴を持っています。

ベンチマーク評価、ハードウェア要件、推論性能などの詳細情報については、ブログ、GitHub、ドキュメントを参照してください。

📦 インストール

Qwen3のコードは最新のHugging Face transformers ライブラリに統合されています。最新バージョンの transformers を使用することをおすすめします。

transformers<4.51.0 を使用すると、以下のエラーが発生する可能性があります。

KeyError: 'qwen3'

📚 ドキュメント

評価と性能

詳細な評価結果については、このブログを参照してください。

引用

もし私たちの研究が役に立ったと思われる場合は、以下のように引用してください。

@misc{qwen3,
    title  = {Qwen3},
    url    = {https://qwenlm.github.io/blog/qwen3/},
    author = {Qwen Team},
    month  = {April},
    year   = {2025}
}

📄 ライセンス

このプロジェクトは apache - 2.0 ライセンスの下で提供されています。