Light R1 14B DS

🚀 Light-R1-14B-DS: SOTA 14B数学モデルと強化学習

Light-R1-14B-DSは、軽量な予算の下で、すでに長い連鎖思考（COT）で微調整された同サイズのモデルに対する最初のオープンソースの強化学習（RL）の試みです。また、AIME24とAIME25のスコアがそれぞれ74.0と60.2となり、多くの32Bモデルを上回る、最先端の14B数学モデルです。

技術レポート

GitHubページ

wandbログ

最近の強化学習の研究では、ベースモデル（通常、名前に*-zeroが含まれる）や1.5Bモデル（興味深いことに、応答長が一度減少してから増加する）、または推定上非常に重い計算が必要なQwQ-32Bでの強化学習が成功しています。Light-R1-14B-DSは、DeepSeek-R1の再現と普及においてさらに一歩前進したものです。強化学習のトレーニング中に、期待される挙動、すなわちすでに長い連鎖思考で微調整されたモデル*における応答長と報酬スコアの同時増加が見られました（wandbログを参照）。

Light-R1-14B-DSはDeepSeek-R1-Distill-Qwen-14Bを元に、当社独自の長い連鎖思考の強化学習後学習を行い、14B数学モデルにおいて新たな最先端レベルを達成しました。AIME24とAIME25でそれぞれ74.0と60.2のスコアを獲得し、また、特定のトレーニングを行わずにGPQAでも良好な結果を示しました。当社は、このモデルを技術レポートとともにリリースすることを嬉しく思い、長い連鎖思考の強化学習後学習をさらに改善していきます。

🚀 クイックスタート

💻 使用例

DeepSeek-R1-Distill-Qwen-14Bと同じです。

📚 ドキュメント

データの汚染除去

当社は、いくつかのオープンソースデータセットのデータ汚染を注意深く評価しました。事前学習中にはある程度の汚染は避けられないかもしれませんが、事後学習でベンチマークを比較する際には許容できません。MATH-500は数十の問題が同一または数値のみが変更されており、多少の影響を受けています。AIME24とAIME25は無傷ですが、2023年までのAIMEデータを組み込む際には特別な注意が必要です。

Light-R1は、完全一致（数字を除く）とN-gram（N = 32）一致による徹底的な汚染除去を行いました。

📄 ライセンス

@misc{lightr1proj,
      title={Light-R1: Curriculum SFT, DPO and RL for Long COT from Scratch and Beyond}, 
      author={Liang Wen, Yunke Cai, Fenrui Xiao, Xin He, Qi An, Zhenyu Duan, Yimin Du, Junchen Liu, Lifu Tang, Xiaowei Lv, Haosheng Zou, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang},
      year={2025},
      eprint={},
      archivePrefix={},
      url={https://github.com/Qihoo360/Light-R1}, 
}