Light R1 7B DS

🚀 Light-R1-7B-DS: わずか3Kのデータで構築されたSOTAの7B数学モデル

Light-R1-7B-DSは、私たちの知る限りでは、AIME24とAIME25のスコアがそれぞれ59.1と44.3で、最先端のオープンソースの7B数学モデルです。また、Light-R1-7B-DSは、特定の訓練を行わずにGPQAでも良好な性能を発揮しています。このモデルはDeepSeek-R1-Distill-Qwen-7Bをベースに、公開した3KのSFTデータのみでさらに訓練されており、公開データの強力な適用性を示しています。

📦 モデル情報

📊 モデル比較

技術レポート

GitHubページ

💻 使用例

基本的な使用法

Light-R1-7B-DSの使用方法はDeepSeek-R1-Distill-Qwen-7Bと同じです。

🔧 データの汚染対策

私たちはいくつかのオープンソースデータセットのデータ汚染を慎重に評価しました。事前学習中にはある程度の汚染は避けられないかもしれませんが、事後学習でベンチマークを比較する際には許容できません。MATH-500には数十の問題が同一または数値のみが変更されており、多少の影響を受けています。AIME 24と25は無傷ですが、2023年までのAIMEデータを組み込む際には特別な注意が必要です。Light-R1では、完全一致（数字を除く）とN-gram（N = 32）の一致による徹底的な汚染対策を行っています。

📄 引用

@misc{lightr1proj,
      title={Light-R1: Curriculum SFT, DPO and RL for Long COT from Scratch and Beyond}, 
      author={Liang Wen, Yunke Cai, Fenrui Xiao, Xin He, Qi An, Zhenyu Duan, Yimin Du, Junchen Liu, Lifu Tang, Xiaowei Lv, Haosheng Zou, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang},
      year={2025},
      eprint={},
      archivePrefix={},
      url={https://github.com/Qihoo360/Light-R1}, 
}