Light R1 7B DS

🚀 Light-R1-7B-DS：僅用3K數據打造的SOTA 7B數學模型

Light-R1-7B-DS是目前已知的最先進的開源7B數學模型，在AIME24和AIME25測試中分別取得了59.1和44.3的優異成績。並且，該模型在未進行任何特定訓練的情況下，在GPQA測試中也表現出色。

🚀 快速開始

使用方法與DeepSeek-R1-Distill-Qwen-7B相同。

✨ 主要特性

• 性能卓越：在AIME24、AIME25和GPQA測試中均取得了領先的成績。
• 數據高效：僅使用3K的SFT數據進行進一步訓練，充分展示了所發佈數據的強大適用性。

📚 詳細文檔

模型對比

技術報告與代碼倉庫

• 技術報告
• [GitHub頁面](https://github.com/Qihoo360/Light - R1)

🔧 技術細節

數據去重

我們仔細評估了多個開源數據集的數據汙染情況。雖然在預訓練過程中某些汙染可能不可避免，但在訓練後的基準測試中，數據汙染是不可接受的。MATH - 500數據集存在一定程度的汙染，有數十個問題完全相同或僅數字不同。AIME 24和25數據集保持完整，但在整合2023年以前的AIME數據時，我們必須特別注意。

Light - R1採用了精確匹配（不包括數字）和N - gram（N = 32）匹配的方法進行了徹底的數據去重。

📄 許可證

本模型採用Apache 2.0許可證。

📚 引用

如果您使用了本模型，請引用以下文獻：

@misc{lightr1proj,
      title={Light - R1: Curriculum SFT, DPO and RL for Long COT from Scratch and Beyond}, 
      author={Liang Wen, Yunke Cai, Fenrui Xiao, Xin He, Qi An, Zhenyu Duan, Yimin Du, Junchen Liu, Lifu Tang, Xiaowei Lv, Haosheng Zou, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang},
      year={2025},
      eprint={},
      archivePrefix={},
      url={https://github.com/Qihoo360/Light - R1}, 
}