Qwen2.5 Math 7B RoPE 300k

🚀 Qwen2.5-Math-7B-RoPE-300k

本模型是 Qwen/Qwen2.5-Math-7B 的一个变体，通过将旋转位置编码（RoPE）的基础频率提高到 300k，从而将模型的上下文长度从 4k 扩展到了 32k 个标记。

📚 详细文档

模型信息

📄 许可证

本模型使用 Apache-2.0 许可证，详情请见 许可证链接。

📚 引用信息

如果您在工作中发现本模型很有用，请引用原始来源：

@article{yang2024qwen25mathtechnicalreportmathematical,
  title={Qwen2.5-Math Technical Report: Toward Mathematical Expert Model via Self-Improvement}, 
  author={An Yang and Beichen Zhang and Binyuan Hui and Bofei Gao and Bowen Yu and Chengpeng Li and Dayiheng Liu and Jianhong Tu and Jingren Zhou and Junyang Lin and Keming Lu and Mingfeng Xue and Runji Lin and Tianyu Liu and Xingzhang Ren and Zhenru Zhang},
  journal={arXiv preprint arXiv:2409.12122},
  year={2024}
}