Smollm3 3B Base

🚀 SmolLM3

SmolLM3は30億のパラメータを持つ言語モデルで、小規模モデルの性能限界を突破することを目指しています。6種類の言語をサポートし、強力な推論能力と長文脈処理能力を備えており、完全にオープンソースのモデルで、30 - 40億パラメータ規模で優れた性能を発揮します。

🚀 クイックスタート

依存関係のインストール

SmolLM3のモデリングコードはtransformers v4.53.0 バージョンで利用可能です。transformersのバージョンをアップグレードしてください。最新の vllm を使用してモデルをロードすることもでき、これはtransformersをバックエンドとして使用します。

pip install -U transformers

コード例

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "HuggingFaceTB/SmolLM3-3B"
device = "cuda" # GPU使用の場合、または "cpu" はCPU使用の場合
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# マルチGPUの場合、accelerateをインストールし、 `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")` を使用
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

ローカル推論

ローカル推論には、llama.cpp、ONNX、MLX、MLC を使用できます。量子化されたチェックポイントはこのコレクション（https://huggingface.co/collections/HuggingFaceTB/smollm3-686d33c1fdffe8e635317e23）で見つけることができます。

長文脈処理

現在の config.json で設定されている文脈長の最大値は65,536トークンです。より長い入力（128kまたは256k）を処理するには、YaRNを使用し、max_position_embeddings と rope_scaling を以下のように変更できます。

{
  ...,
  "rope_scaling": {
    "factor": 2.0, # 2x65536 = 131,072 
    "original_max_position_embeddings": 65536,
    "type": "yarn"
  }
}

✨ 主な機能

• 混合推論最適化：混合推論に最適化された命令モデル。
• 完全オープンソース：モデルの重みと完全なトレーニング詳細を公開しており、公開されたデータミックスとトレーニング設定を含みます。
• 長文脈サポート：64kの文脈でトレーニングされ、YARN外挿法を使用して最大128kトークンをサポートします。
• 多言語サポート：英語、フランス語、スペイン語、ドイツ語、イタリア語、ポルトガル語の6種類の言語をネイティブでサポートします。

詳細情報については、私たちのブログ記事を参照してください：https://hf.co/blog/smollm3

📚 ドキュメント

モデル概要

SmolLM3は、GQAとNoPE技術を使用したデコーダ専用のTransformerモデルです。11.2Tトークンで事前学習され、Web、コード、数学、推論データを含む段階的なカリキュラムを採用しています。トレーニング後には、140Bの推論トークンで中間学習を行い、その後、アンカー付き嗜好最適化（APO）による教師付き微調整とアライメントを行います。

評価

このセクションでは、SmolLM3モデルの評価結果を報告します。特に明記しない限り、すべての評価はゼロショット評価であり、lighteval を使用して評価しています。最高スコアは太字で、2番目に良いスコアは下線で強調しています。

基礎事前学習モデル

英語ベンチマークテスト

多言語ベンチマークテスト

このモデルは、アラビア語（標準語）、中国語、ロシア語のデータでも学習されていますが、上述の6種類の言語と比較すると、これらの言語のトークン数は少ないです。これらの言語の性能は参考として報告しています。

命令モデル

拡張思考なし

非推論モデルと推論モデルの思考なしモードでの評価結果です。最高と2番目に良いスコアは太字で強調しています。

(*)：これはツール呼び出し微調整モデルです。

拡張思考

SmolLM3とQwen3モデルの推論モードでの評価結果です。

トレーニング

モデル

• アーキテクチャ：Transformerデコーダ
• 事前学習トークン：11T
• 精度：bfloat16

ソフトウェアとハードウェア

• GPU：384個のH100
• トレーニングフレームワーク：nanotron
• データ処理フレームワーク：datatrove
• 評価フレームワーク：lighteval
• トレーニング後フレームワーク：TRL

オープンリソース

すべてのトレーニング詳細を含む情報グラフがあります。

• 事前学習に使用されるデータセットは、この コレクション で見つけることができます。中間学習とトレーニング後に使用されるデータセットは、今後数週間で公開されます。
• トレーニングと評価の設定およびコードは、huggingface/smollm リポジトリで見つけることができます。

🔧 技術詳細

モデルアーキテクチャ

SmolLM3はデコーダ専用のTransformerアーキテクチャを採用し、GQAとNoPE技術を使用して、モデルの性能と効率を向上させています。

トレーニングプロセス

モデルは11.2Tトークンで事前学習され、Web、コード、数学、推論データを含む段階的なカリキュラムを採用しています。トレーニング後には、140Bの推論トークンで中間学習を行い、その後、アンカー付き嗜好最適化（APO）による教師付き微調整とアライメントを行います。

📄 ライセンス

このプロジェクトは Apache 2.0 ライセンスの下で提供されています。

⚠️ 重要提示

SmolLM3は様々なトピックに関するテキストを生成することができますが、生成された内容は必ずしも事実正確であったり、論理的に一貫していたり、学習データに存在するバイアスの影響を受けないとは限りません。これらのモデルは補助ツールとして使用すべきであり、情報の最終的なソースではありません。ユーザーは常に重要な情報を検証し、生成された内容を批判的に評価する必要があります。