Qwen2.5 Math 7B 16k Think

🚀 LUFFY

LUFFYは、Learning to Reason under Off-Policy Guidanceで説明されているQwen2.5-Math-7Bベースモデルを使用しています。rope_thetaを10000から40000に変更し、コンテキストウィンドウを16kに拡張しています。また、システムプロンプトのチャットテンプレートを修正し、を追加しています。

🚀 クイックスタート

LUFFYは、特定の自然言語処理タスクに対応したモデルです。以下のリンクからモデルや関連情報を参照できます。

• Github: https://github.com/ElliottYan/LUFFY

📚 ドキュメント

LUFFYは、Learning to Reason under Off-Policy Guidanceで説明されているQwen2.5-Math-7Bベースモデルを使用しています。rope_thetaを10000から40000に変更し、コンテキストウィンドウを16kに拡張しています。また、システムプロンプトのチャットテンプレートを修正し、を追加しています。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

📖 引用

もし当社のモデル、データ、または評価コードが役に立った場合は、以下のように論文を引用していただけると幸いです。

@misc{luffy,
      title={Learning to Reason under Off-Policy Guidance}, 
      author={Jianhao Yan and Yafu Li and Zican Hu and Zhi Wang and Ganqu Cui and Xiaoye Qu and Yu Cheng and Yue Zhang},
      year={2025},
      eprint={2504.14945},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2504.14945}, 
}