Smollm3 3B

🚀 SmolLM3

SmolLM3はパラメータが30億の言語モデルで、小規模モデルの性能限界を突破することを目指しています。このモデルは6つの言語をサポートし、高度な推論能力と長文脈処理能力を備えており、完全にオープンソースのモデルで、30 - 40億パラメータ規模で優れた性能を発揮します。

🚀 クイックスタート

SmolLM3のモデリングコードはtransformers v4.53.0 バージョンで利用可能です。したがって、transformersのバージョンをアップグレードしてください。最新の vllm を使用してモデルをロードすることもでき、これはtransformersをバックエンドとして使用します。

pip install -U transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HuggingFaceTB/SmolLM3-3B"
device = "cuda"  # GPUを使用する場合は "cuda"、CPUを使用する場合は "cpu"

# トークナイザーとモデルをロード
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
).to(device)

# モデル入力を準備
prompt = "Give me a brief explanation of gravity in simple terms."
messages_think = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages_think,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 出力を生成
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)

# 出力を取得してデコード
output_ids = generated_ids[0][len(model_inputs.input_ids[0]) :]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

💡 使用アドバイス

サンプリングパラメータに temperature=0.6 と top_p=0.95 を設定することをおすすめします。

✨ 主な機能

• 混合推論に最適化された命令モデル
• 完全なオープンソースモデル：オープンな重みと完全なトレーニング詳細（公開されたデータミックスとトレーニング設定を含む）
• 長文脈処理：64kの文脈でトレーニングされ、YARN外挿を使用して最大128kのトークンをサポート
• 多言語対応：6つの言語（英語、フランス語、スペイン語、ドイツ語、イタリア語、ポルトガル語）をネイティブでサポート

詳細情報はこちらのブログ記事を参照してください：https://hf.co/blog/smollm3

📦 インストール

SmolLM3を使用するには、transformersのバージョンが v4.53.0 であることを確認し、以下のコマンドでアップグレードしてください。

pip install -U transformers

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HuggingFaceTB/SmolLM3-3B"
device = "cuda"  # GPUを使用する場合は "cuda"、CPUを使用する場合は "cpu"

# トークナイザーとモデルをロード
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
).to(device)

# モデル入力を準備
prompt = "Give me a brief explanation of gravity in simple terms."
messages_think = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages_think,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 出力を生成
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)

# 出力を取得してデコード
output_ids = generated_ids[0][len(model_inputs.input_ids[0]) :]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

長文脈処理

現在の config.json 設定では、最大65,536トークンの文脈長をサポートしています。より長い入力（128kまたは256k）を処理するには、YaRNを使用し、max_position_embeddings と rope_scaling を以下のように変更してください。

{
  ...,
  "rope_scaling": {
    "factor": 2.0, #2x65536=131 072 
    "original_max_position_embeddings": 65536,
    "type": "yarn"
  }
}

拡張思考モードの有効化と無効化

デフォルトでは拡張思考モードが有効になっているため、上記の例では推論軌跡付きの出力が生成されます。拡張思考モードを有効にするかどうかを選択するには、システムプロンプトで /think と /no_think フラグを提供します。以下は拡張思考モードを無効にするコードの例です。

prompt = "Give me a brief explanation of gravity in simple terms."
messages = [
    {"role": "system", "content": "/no_think"},
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

enable_thinking キーワード引数を使用して、拡張思考モードを使用するかどうかを指定することもできます。以下はその例です。

prompt = "Give me a brief explanation of gravity in simple terms."
messages = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False
)

代理式使用

SmolLM3はツール呼び出しをサポートしています！ツールリストを渡すだけです。

• xml_tools パラメータで標準のツール呼び出しを行います。これらのツールはXMLタグ内のJSONブロックとして呼び出されます。例：<tool_call>{"name": "get_weather", "arguments": {"city": "Copenhagen"}}</tool_call>
• または python_tools パラメータで、モデルは <code> コードスニペット内でPython関数のようにツールを呼び出します。例：<code>get_weather(city="Copenhagen")</code>

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "HuggingFaceTB/SmolLM3-3B"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint)

tools = [
    {
        "name": "get_weather",
        "description": "Get the weather in a city",
        "parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "The city to get the weather for"}}}}
]

messages = [
    {
        "role": "user",
        "content": "Hello! How is the weather today in Copenhagen?"
    }
]

inputs = tokenizer.apply_chat_template(
    messages,
    enable_thinking=False, # True でもOK、自由に選択できます！
    xml_tools=tools,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt"
)

outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

カスタムシステム命令の使用

システムプロンプトを使用してカスタム命令を指定し、拡張思考モードを制御することができます。例えば、以下のコードは拡張思考モードを有効にしながら、モデルに海賊のように話させる方法を示しています。

prompt = "Give me a brief explanation of gravity in simple terms."
messages = [
    {"role": "system", "content": "Speak like a pirate./think"},
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

ローカル推論には、llama.cpp、ONNX、MLX、MLC を使用できます。量子化されたチェックポイントはこのコレクション（https://huggingface.co/collections/HuggingFaceTB/smollm3-686d33c1fdffe8e635317e23）で見つけることができます。

vLLMとSGLang

vLLMとSGLangを使用して、モデルをOpenAI形式と互換性のあるAPIとしてデプロイすることができます。

SGLang

python -m sglang.launch_server --model-path HuggingFaceTB/SmolLM3-3B

vLLM

vllm serve HuggingFaceTB/SmolLM3-3B

chat_template_kwargs の設定

APIリクエストで chat_template_kwargs パラメータを渡すことで、デプロイされたモデルに chat_template_kwargs（例：enable_thinking や xml_tools）を指定できます。

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "HuggingFaceTB/SmolLM3-3B",
  "messages": [
    {"role": "user", "content": "Give me a brief explanation of gravity in simple terms."}
  ],
  "temperature": 0.6,
  "top_p": 0.95,
  "max_tokens": 16384,
  "chat_template_kwargs": {"enable_thinking": false}
}'

📚 ドキュメント

評価

このセクションでは、SmolLM3モデルの評価結果を報告しています。特に明記しない限り、すべての評価はゼロショット評価であり、lighteval を使用して評価しています。

最高のスコアは太字で、2番目に良いスコアは下線で強調しています。

命令モデル

拡張思考モードなし

非推論モデルと推論モデルの思考モードなしでの評価結果です。最高と2番目に良いスコアを太字で強調しています。

(*): これはツール呼び出しの微調整モデルです。

拡張思考モード

SmolLM3とQwen3モデルの推論モードでの評価結果です。

基礎事前学習モデル

英語ベンチマークテスト

注意：特に明記しない限り、すべての評価はゼロショット評価です。Ruler 64k評価では、32k文脈のQwenモデルにYaRNを適用して文脈長を外挿しています。

多言語ベンチマークテスト

このモデルはアラビア語（標準）、中国語、ロシア語のデータでもトレーニングされていますが、上記の6つの言語と比較すると、これらの言語のトークン数は少ないです。これらの言語の性能は参考として報告しています。

トレーニング

モデル

• アーキテクチャ：Transformerデコーダ
• 事前学習トークン：11T
• 精度：bfloat16

ソフトウェアとハードウェア

• GPU：384個のH100
• トレーニングフレームワーク：nanotron
• データ処理フレームワーク：datatrove
• 評価フレームワーク：lighteval
• トレーニング後フレームワーク：TRL

オープンリソース

以下はすべてのトレーニング詳細を含む情報グラフです。

• 事前学習に使用されるデータセットはこの コレクション で見つけることができ、トレーニング中とトレーニング後に使用されるデータセットは後でアップロードされます。
• トレーニングと評価の設定およびコードは huggingface/smollm リポジトリで見つけることができます。

🔧 技術詳細

SmolLM3はデコーダのみのTransformerモデルで、GQAとNoPE（比率3:1）を使用しています。11.2Tのトークンで事前学習され、Web、コード、数学、推論データを含む段階的なカリキュラムを採用しています。トレーニング後には、140Bの推論トークンで中期トレーニングを行い、その後に教師付き微調整を行い、アンカー付き嗜好最適化（APO）でアライメントを行っています。

📄 ライセンス

Apache 2.0

⚠️ 制限事項

SmolLM3は様々なトピックのテキストを生成することができますが、生成される内容は必ずしも事実的に正確であったり、論理的に一貫していたり、トレーニングデータに存在するバイアスの影響を受けないとは限りません。これらのモデルは補助ツールとして使用するべきであり、情報の最終的なソースではありません。ユーザーは常に重要な情報を検証し、生成された内容を批判的に評価する必要があります。