Qwen2.5 Math 7B 16k Think

🚀 LUFFY

LUFFY基於Qwen2.5 - Math - 7B基礎模型，該模型在論文Learning to Reason under Off-Policy Guidance中有詳細描述。本項目對模型進行了優化，將rope_theta從10000調整為40000，並將上下文窗口擴展到16k。同時，修改了系統提示的聊天模板並添加了。

🚀 快速開始

本項目暫未提供快速開始相關內容，你可以參考項目的GitHub倉庫獲取更多信息。

✨ 主要特性

• 基於Qwen2.5 - Math - 7B基礎模型。
• 將rope_theta從10000調整為40000。
• 上下文窗口擴展到16k。
• 修改了系統提示的聊天模板並添加了。

📚 詳細文檔

模型基礎信息

LUFFY使用的基礎模型是Qwen2.5 - Math - 7B，該模型的相關研究在論文Learning to Reason under Off-Policy Guidance中進行了闡述。

模型調整

• rope_theta調整：將rope_theta從10000調整為40000。
• 上下文窗口擴展：將上下文窗口擴展到16k。
• 聊天模板修改：修改了系統提示的聊天模板並添加了。

項目鏈接

• GitHub倉庫：https://github.com/ElliottYan/LUFFY

📄 許可證

本項目採用MIT許可證。

📖 引用

如果你覺得我們的模型、數據或評估代碼有用，請引用我們的論文：

@misc{luffy,
      title={Learning to Reason under Off-Policy Guidance}, 
      author={Jianhao Yan and Yafu Li and Zican Hu and Zhi Wang and Ganqu Cui and Xiaoye Qu and Yu Cheng and Yue Zhang},
      year={2025},
      eprint={2504.14945},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2504.14945}, 
}