Light R1 14B DS

🚀 Light-R1-14B-DS：基於強化學習的SOTA 14B數學模型

Light-R1-14B-DS是首個在輕量級預算下，對相近規模且已完成長思維鏈微調的模型成功進行強化學習訓練的開源模型。它也是目前表現最優的14B數學模型，在AIME24和AIME25測試中分別取得了74.0和60.2的成績，超越了許多32B模型。

模型信息

模型對比

相關鏈接

• 技術報告
• GitHub頁面
• wandb日誌

🚀 快速開始

使用方法

使用方法與DeepSeek-R1-Distill-Qwen-14B相同。

✨ 主要特性

Light-R1-14B-DS在強化學習訓練方面取得了重要進展，它標誌著在復現和推廣DeepSeek-R1上邁出了重要一步。在訓練過程中，我們觀察到了預期的效果：在一個已經完成長思維鏈微調的模型上，響應長度和獎勵分數同時增加（詳見wandb日誌）。

該模型基於DeepSeek-R1-Distill-Qwen-14B，經過我們的長思維鏈強化學習後訓練，在14B數學模型中達到了新的最優水平，在AIME 24和25測試中分別取得了74.0和60.2的成績。此外，Light-R1-14B-DS在未進行任何特定訓練的情況下，在GPQA測試中也表現出色。

📚 詳細文檔

數據去重

我們仔細評估了幾個開源數據集的數據汙染情況。雖然在預訓練過程中某些汙染可能不可避免，但在後續訓練中，在基準測試上進行比較時出現汙染是不可接受的。

MATH-500數據集存在一定程度的汙染，有數十個問題完全相同或僅數字不同。AIME 24和25數據集保持完整，但在整合2023年以前的AIME數據時，我們必須特別注意。

Light-R1進行了徹底的數據去重，採用了精確匹配（不包括數字）和N-gram（N=32）匹配的方法。

📄 許可證

本項目採用apache-2.0許可證。

📚 引用

如果您使用了本項目，請引用以下文獻：

@misc{lightr1proj,
      title={Light-R1: Curriculum SFT, DPO and RL for Long COT from Scratch and Beyond}, 
      author={Liang Wen, Yunke Cai, Fenrui Xiao, Xin He, Qi An, Zhenyu Duan, Yimin Du, Junchen Liu, Lifu Tang, Xiaowei Lv, Haosheng Zou, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang},
      year={2025},
      eprint={},
      archivePrefix={},
      url={https://github.com/Qihoo360/Light-R1}, 
}