Smollm3 3B

🚀 SmolLM3

SmolLM3是一款參數為30億的語言模型，旨在突破小模型的性能邊界。它支持6種語言，具備高級推理能力和長上下文處理能力，是一個完全開源的模型，在30 - 40億參數規模下表現出色。

🚀 快速開始

SmolLM3的建模代碼在transformers v4.53.0 版本中可用，因此請確保升級你的transformers版本。你也可以使用最新的 vllm 加載模型，它以transformers為後端。

pip install -U transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HuggingFaceTB/SmolLM3-3B"
device = "cuda"  # 用於GPU使用，或 "cpu" 用於CPU使用

# 加載分詞器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
).to(device)

# 準備模型輸入
prompt = "Give me a brief explanation of gravity in simple terms."
messages_think = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages_think,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 生成輸出
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)

# 獲取並解碼輸出
output_ids = generated_ids[0][len(model_inputs.input_ids[0]) :]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

💡 使用建議

建議在採樣參數中設置 temperature=0.6 和 top_p=0.95。

✨ 主要特性

• 專為混合推理優化的指令模型
• 完全開源模型：開放權重 + 完整的訓練細節，包括公開的數據混合和訓練配置
• 長上下文處理：在64k上下文上進行訓練，並使用YARN外推支持高達128k的標記
• 多語言支持：原生支持6種語言（英語、法語、西班牙語、德語、意大利語和葡萄牙語）

更多詳細信息請參考我們的博客文章：https://hf.co/blog/smollm3

📦 安裝指南

若要使用SmolLM3，需確保transformers版本為 v4.53.0，可通過以下命令進行升級：

pip install -U transformers

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HuggingFaceTB/SmolLM3-3B"
device = "cuda"  # 用於GPU使用，或 "cpu" 用於CPU使用

# 加載分詞器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
).to(device)

# 準備模型輸入
prompt = "Give me a brief explanation of gravity in simple terms."
messages_think = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages_think,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 生成輸出
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)

# 獲取並解碼輸出
output_ids = generated_ids[0][len(model_inputs.input_ids[0]) :]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

長上下文處理

當前的 config.json 配置為支持最長65,536個標記的上下文長度。若要處理更長的輸入（128k或256k），可使用YaRN並將 max_position_embeddings 和 rope_scaling 修改為：

{
  ...,
  "rope_scaling": {
    "factor": 2.0, #2x65536=131 072 
    "original_max_position_embeddings": 65536,
    "type": "yarn"
  }
}

啟用和禁用擴展思考模式

默認情況下啟用擴展思考模式，因此上述示例會生成帶有推理軌跡的輸出。若要選擇是否啟用擴展思考模式，可通過系統提示提供 /think 和 /no_think 標誌，如下例所示為禁用擴展思考模式的代碼：

prompt = "Give me a brief explanation of gravity in simple terms."
messages = [
    {"role": "system", "content": "/no_think"},
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

也可以通過 enable_thinking 關鍵字參數指定是否使用擴展思考模式，如下例所示：

prompt = "Give me a brief explanation of gravity in simple terms."
messages = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False
)

代理式使用

SmolLM3支持工具調用！只需傳遞工具列表：

• 在 xml_tools 參數下用於標準工具調用：這些工具將作為XML標籤內的JSON塊調用，例如 <tool_call>{"name": "get_weather", "arguments": {"city": "Copenhagen"}}</tool_call>
• 或在 python_tools 參數下：模型將在 <code> 代碼片段中像調用Python函數一樣調用工具，例如 <code>get_weather(city="Copenhagen")</code>

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "HuggingFaceTB/SmolLM3-3B"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint)

tools = [
    {
        "name": "get_weather",
        "description": "Get the weather in a city",
        "parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "The city to get the weather for"}}}}
]

messages = [
    {
        "role": "user",
        "content": "Hello! How is the weather today in Copenhagen?"
    }
]

inputs = tokenizer.apply_chat_template(
    messages,
    enable_thinking=False, # True 也可以，由你選擇！
    xml_tools=tools,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt"
)

outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

使用自定義系統指令

你可以通過系統提示指定自定義指令，同時控制是否使用擴展思考模式。例如，以下代碼展示瞭如何在啟用擴展思考模式的同時讓模型像海盜一樣說話：

prompt = "Give me a brief explanation of gravity in simple terms."
messages = [
    {"role": "system", "content": "Speak like a pirate./think"},
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

對於本地推理，你可以使用 llama.cpp、ONNX、MLX 和 MLC。可以在這個集合（https://huggingface.co/collections/HuggingFaceTB/smollm3-686d33c1fdffe8e635317e23）中找到量化的檢查點。

vLLM和SGLang

你可以使用vLLM和SGLang將模型部署為與OpenAI格式兼容的API。

SGLang

python -m sglang.launch_server --model-path HuggingFaceTB/SmolLM3-3B

vLLM

vllm serve HuggingFaceTB/SmolLM3-3B

設置 chat_template_kwargs

你可以在API請求中通過傳遞 chat_template_kwargs 參數為已部署的模型指定 chat_template_kwargs，例如 enable_thinking 和 xml_tools。

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "HuggingFaceTB/SmolLM3-3B",
  "messages": [
    {"role": "user", "content": "Give me a brief explanation of gravity in simple terms."}
  ],
  "temperature": 0.6,
  "top_p": 0.95,
  "max_tokens": 16384,
  "chat_template_kwargs": {"enable_thinking": false}
}'

📚 詳細文檔

評估

本節報告了SmolLM3模型的評估結果。除非另有說明，所有評估均為零樣本評估，我們使用 lighteval 進行評估。

我們用粗體突出顯示最佳分數，用下劃線標記第二佳分數。

指令模型

無擴展思考模式

非推理模型和推理模型在無思考模式下的評估結果。我們用粗體突出顯示最佳和第二佳分數。

(*): 這是一個工具調用微調模型

擴展思考模式

SmolLM3和Qwen3模型在推理模式下的評估結果：

基礎預訓練模型

英語基準測試

注意：除非另有說明，所有評估均為零樣本評估。對於Ruler 64k評估，我們對具有32k上下文的Qwen模型應用YaRN以外推上下文長度。

多語言基準測試

該模型還在阿拉伯語（標準）、中文和俄語數據上進行了訓練，但與上述6種語言相比，這些語言的標記數量較少。我們報告這些語言的性能僅供參考。

訓練

模型

• 架構：Transformer解碼器
• 預訓練標記：11T
• 精度：bfloat16

軟件與硬件

• GPU：384個H100
• 訓練框架：nanotron
• 數據處理框架：datatrove
• 評估框架：lighteval
• 訓練後框架：TRL

開放資源

以下是包含所有訓練細節的信息圖：

• 預訓練使用的數據集可以在這個 集合 中找到，訓練中和訓練後使用的數據集將在稍後上傳。
• 訓練和評估配置及代碼可以在 huggingface/smollm 倉庫中找到。

🔧 技術細節

SmolLM3是一個僅解碼器的Transformer模型，使用了GQA和NoPE（比例為3:1）。它在11.2T標記上進行了預訓練，採用了包括網絡、代碼、數學和推理數據的分階段課程。訓練後包括在140B推理標記上進行中期訓練，隨後進行監督微調，並通過錨定偏好優化（APO）進行對齊。

📄 許可證

Apache 2.0

⚠️ 侷限性

SmolLM3可以生成各種主題的文本，但生成的內容可能並不總是事實準確、邏輯一致，或者不受訓練數據中存在的偏差影響。這些模型應作為輔助工具使用，而不是信息的最終來源。用戶應始終驗證重要信息，並批判性地評估生成的任何內容。