Qwen3 1.7B Base

🚀 Qwen3-1.7B-Base

Qwen3-1.7B-Baseは、Qwenシリーズの最新世代の大規模言語モデルです。高密度モデルとエキスパート混合（MoE）モデルを総合的に提供し、多言語やコーディングなど幅広いタスクに対応します。

🚀 クイックスタート

Qwen3-1.7B-Baseは、Qwenシリーズの進化版で、多言語やコーディングなどのタスクに対応した大規模言語モデルです。最新のHugging Face transformersライブラリを使用して、簡単に利用できます。

✨ 主な機能

Qwen3はQwenシリーズの最新世代の大規模言語モデルで、高密度モデルとエキスパート混合（MoE）モデルを総合的に提供します。Qwen2.5と比較して、以下のような改良点があります。

• 高品質な事前学習コーパスの拡充：119言語、36兆トークンで事前学習され、Qwen2.5の3倍の言語カバレッジを持ち、コーディング、STEM、推論、書籍、多言語、合成データなどの高品質データが豊富に含まれています。
• トレーニング技術とモデルアーキテクチャ：MoEモデルのグローバルバッチロードバランシング損失や、すべてのモデルに適用されるqkレイヤーノルムなど、一連のトレーニング技術とアーキテクチャの改良が施され、安定性と全体的なパフォーマンスが向上しています。
• 三段階の事前学習：第1段階では広範な言語モデリングと一般知識の獲得に焦点を当て、第2段階ではSTEM、コーディング、論理推論などの推論能力を向上させ、第3段階ではトレーニングシーケンス長を最大32kトークンまで拡張して長文脈理解能力を強化しています。
• スケーリング則に基づくハイパーパラメータチューニング：三段階の事前学習パイプライン全体で包括的なスケーリング則の研究を通じて、高密度モデルとMoEモデルそれぞれに対して、学習率スケジューラやバッチサイズなどの重要なハイパーパラメータを体系的に調整し、異なるモデル規模でのトレーニングダイナミクスと最終的なパフォーマンスを向上させています。

📦 インストール

Qwen3のコードは最新のHugging Face transformersに含まれています。最新バージョンのtransformersを使用することをおすすめします。

transformers<4.51.0を使用すると、以下のエラーが発生する場合があります。

KeyError: 'qwen3'

📚 ドキュメント

モデル概要

Qwen3-1.7B-Baseは以下の特徴を持っています。

ベンチマーク評価、ハードウェア要件、推論パフォーマンスなどの詳細については、ブログ、GitHub、ドキュメントを参照してください。

評価とパフォーマンス

詳細な評価結果はこの📑 ブログに報告されています。

引用

もしこの研究が役に立った場合は、以下のように引用してください。

@misc{qwen3,
    title  = {Qwen3},
    url    = {https://qwenlm.github.io/blog/qwen3/},
    author = {Qwen Team},
    month  = {April},
    year   = {2025}
}

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。