Light R1 32B DS

🚀 Light-R1-32B-DS: わずか3KのデータでほぼSOTAレベルの32B数学モデル

Light-R1-32B-DSは、AIME24とAIME25のスコアがそれぞれ78.1と65.9という、ほぼSOTAレベルの32B数学モデルです。このモデルはDeepSeek-R1-Distill-Qwen-32Bをベースに、公開した3KのSFTデータのみを使ってさらに学習させたもので、公開データの強力な適用性を示しています。

論文: https://huggingface.co/papers/2503.10460

技術レポート

GitHubページ

🚀 クイックスタート

Light-R1-32B-DSの使用方法は、DeepSeek-R1-Distill-Qwen-32Bと同じです。

📚 ドキュメント

データの汚染除去

我々はいくつかのオープンソースデータセットのデータ汚染について慎重に評価しました。事前学習中にはある程度の汚染は避けられないかもしれませんが、事後学習でベンチマークを比較する際には許容できません。MATH - 500には数十の問題が同一または数値のみが変更されており、多少の汚染が見られます。AIME 24と25は無傷ですが、2023年までのAIMEデータを組み込む際には特別な注意が必要です。Light-R1では、完全一致（数字を除く）とN-gram（N = 32）一致による徹底的な汚染除去を行いました。

📄 ライセンス

このモデルのライセンスはapache - 2.0です。

📚 引用

@misc{lightr1proj,
      title={Light-R1: Curriculum SFT, DPO and RL for Long COT from Scratch and Beyond}, 
      author={Liang Wen, Yunke Cai, Fenrui Xiao, Xin He, Qi An, Zhenyu Duan, Yimin Du, Junchen Liu, Lifu Tang, Xiaowei Lv, Haosheng Zou, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang},
      year={2025},
      eprint={},
      archivePrefix={},
      url={https://github.com/Qihoo360/Light-R1}, 
}

📦 モデル情報