Smollm3 3B Base

🚀 SmolLM3

SmolLM3是一款擁有30億參數的語言模型，旨在突破小模型的性能邊界。它支持6種語言，具備強大的推理能力和長上下文處理能力，是一款完全開源的模型，在30 - 40億參數規模下表現出色。

🚀 快速開始

安裝依賴

SmolLM3的建模代碼在transformers v4.53.0 版本中可用，請確保升級你的transformers版本。你也可以使用最新的 vllm 加載模型，它以transformers為後端。

pip install -U transformers

代碼示例

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "HuggingFaceTB/SmolLM3-3B"
device = "cuda" # 用於GPU使用，或 "cpu" 用於CPU使用
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# 對於多GPU，安裝accelerate並使用 `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

本地推理

對於本地推理，你可以使用 llama.cpp、ONNX、MLX 和 MLC。你可以在這個集合（https://huggingface.co/collections/HuggingFaceTB/smollm3-686d33c1fdffe8e635317e23）中找到量化的檢查點。

長上下文處理

當前的 config.json 設置的上下文長度最大為65,536個標記。要處理更長的輸入（128k或256k），我們使用YaRN，你可以將 max_position_embeddings 和 rope_scaling 修改為：

{
  ...,
  "rope_scaling": {
    "factor": 2.0, # 2x65536 = 131,072 
    "original_max_position_embeddings": 65536,
    "type": "yarn"
  }
}

✨ 主要特性

• 混合推理優化：針對混合推理進行了優化的指令模型。
• 完全開源：開放模型權重和完整的訓練細節，包括公開的數據混合和訓練配置。
• 長上下文支持：在64k上下文上進行訓練，並使用YARN外推法支持最多128k個標記。
• 多語言支持：原生支持6種語言（英語、法語、西班牙語、德語、意大利語和葡萄牙語）。

更多詳細信息請參考我們的博客文章：https://hf.co/blog/smollm3

📚 詳細文檔

模型概述

SmolLM3是一個僅解碼器的Transformer模型，使用了GQA和NoPE技術。它在11.2T標記上進行了預訓練，採用了包括網絡、代碼、數學和推理數據的分階段課程。訓練後包括在140B推理標記上進行中間訓練，然後通過錨定偏好優化（APO）進行有監督的微調與對齊。

評估

在本節中，我們報告了SmolLM3模型的評估結果。除非另有說明，所有評估均為零樣本評估，我們使用 lighteval 進行評估。我們用粗體突出顯示最佳分數，用下劃線標記第二佳分數。

基礎預訓練模型

英文基準測試

多語言基準測試

該模型還在阿拉伯語（標準語）、中文和俄語數據上進行了訓練，但與上述6種語言相比，這些語言的標記數量較少。我們報告這些語言的性能僅供參考。

指令模型

無擴展思考

非推理模型和推理模型在無思考模式下的評估結果。我們用粗體突出顯示最佳和第二佳分數。

(*)：這是一個工具調用微調模型。

擴展思考

SmolLM3和Qwen3模型在推理模式下的評估結果：

訓練

模型

• 架構：Transformer解碼器
• 預訓練標記：11T
• 精度：bfloat16

軟件與硬件

• GPU：384個H100
• 訓練框架：nanotron
• 數據處理框架：datatrove
• 評估框架：lighteval
• 訓練後框架：TRL

開放資源

這裡有一個包含所有訓練細節的信息圖。

• 預訓練使用的數據集可以在這個 集合 中找到，中間訓練和訓練後使用的數據集將在接下來的幾周內發佈。
• 訓練和評估配置及代碼可以在 huggingface/smollm 倉庫中找到。

🔧 技術細節

模型架構

SmolLM3採用了僅解碼器的Transformer架構，並使用了GQA和NoPE技術，以提升模型的性能和效率。

訓練過程

模型在11.2T標記上進行預訓練，採用了分階段的課程，包括網絡、代碼、數學和推理數據。訓練後包括在140B推理標記上進行中間訓練，然後通過錨定偏好優化（APO）進行有監督的微調與對齊。

📄 許可證

本項目採用 Apache 2.0 許可證。

⚠️ 重要提示

SmolLM3可以生成關於各種主題的文本，但生成的內容可能並不總是事實準確、邏輯一致，或者不受訓練數據中存在的偏差影響。這些模型應作為輔助工具使用，而不是信息的最終來源。用戶應始終驗證重要信息，並批判性地評估任何生成的內容。