Light-R1-32B-DS開源數學模型 - 近SOTA水平，少量數據微調實現高性能

首頁

Light R1 32B DS

由qihoo360開發

Light-R1-32B-DS是一款近SOTA水平的32B數學模型，基於DeepSeek-R1-Distill-Qwen-32B微調，僅使用3K SFT數據即實現高性能。

大型語言模型

Transformers

開源協議:Apache-2.0 #小樣本微調 #數學推理 #長鏈思維訓練

下載量 1,136

發布時間 : 3/12/2025

模型概述

該模型是一款高性能32B參數規模的大語言模型，在AIME24和25測試中表現優異，適用於複雜文本生成任務。

模型特點

高效微調

僅使用3K SFT數據即實現接近SOTA的性能表現

嚴格數據淨化

採用精確匹配和N-gram技術進行數據去汙染處理

高性能表現

在AIME24和25測試中分別獲得78.1和65.9的高分

模型能力

複雜文本生成

長鏈思維推理

數學問題解答

使用案例

學術研究

數學競賽題解答

用於解答AIME等數學競賽題目

在AIME24測試中獲得78.1分

教育輔助

複雜問題解答

幫助學生理解複雜數學概念和解題思路

🚀 Light-R1-32B-DS：僅用3K數據打造的接近SOTA的32B數學模型

Light-R1-32B-DS是一個接近SOTA的32B數學模型，在AIME24和AIME25測試中的得分分別達到了78.1和65.9。該模型源自DeepSeek-R1-Distill-Qwen-32B，僅使用我們開源的3K SFT數據進行進一步訓練，充分展示了所發佈數據的強大適用性。

🚀 快速開始

使用方法與DeepSeek-R1-Distill-Qwen-32B相同。

✨ 主要特性

高性能：在AIME24和AIME25測試中取得了優異的成績。
數據高效：僅使用3K SFT數據進行訓練，體現了數據的強大適用性。

📚 詳細文檔

模型信息

屬性	詳情
基礎模型	deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
許可證	apache-2.0
庫名稱	transformers
任務類型	文本生成

模型對比

模型	訓練基礎	發佈日期	AIME24	AIME25	GPQA
DeepSeek-R1-Distill-Qwen-32B	Qwen2.5-32B	25.1.20	72.6	54.9	62.1
TinyR1-32B-Preview	DeepSeek-R1-Distill-Qwen-32B	25.2.25	77.1	65.9	65.0
Light-R1-32B-DS (我們的模型) 🤗	DeepSeek-R1-Distill-Qwen-32B	25.3.12	78.1	65.9	68.0
Light-R1-32B (我們的模型) 🤗	Qwen2.5-32B-Instruct	25.3.4	76.6	64.6	61.8
QwQ-32B	N/A	25.3.6	78.5	69.3	67.7

🔧 技術細節

數據去重

我們仔細評估了幾個開源數據集的數據汙染情況。雖然在預訓練過程中某些汙染可能不可避免，但在訓練後在基準測試中進行比較是不可接受的。MATH-500數據集存在一定程度的汙染，有數十個問題完全相同或僅數字不同。AIME 24和25數據集保持完整，但在整合2023年以前的AIME數據時，我們必須特別注意。

Light-R1使用精確匹配（不包括數字）和N-gram（N = 32）匹配進行了徹底的數據去重。

📄 許可證

本項目採用apache-2.0許可證。

📚 引用

如果您使用了本模型或相關技術，請引用以下文獻：

@misc{lightr1proj,
      title={Light-R1: Curriculum SFT, DPO and RL for Long COT from Scratch and Beyond}, 
      author={Liang Wen, Yunke Cai, Fenrui Xiao, Xin He, Qi An, Zhenyu Duan, Yimin Du, Junchen Liu, Lifu Tang, Xiaowei Lv, Haosheng Zou, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang},
      year={2025},
      eprint={},
      archivePrefix={},
      url={https://github.com/Qihoo360/Light-R1}, 
}