Qwen2.5 Math 7B RoPE 300k

🚀 Qwen2.5-Math-7B-RoPE-300k

本模型是 Qwen/Qwen2.5-Math-7B 的一個變體，通過將旋轉位置編碼（RoPE）的基礎頻率提高到 300k，從而將模型的上下文長度從 4k 擴展到了 32k 個標記。

📚 詳細文檔

模型信息

📄 許可證

本模型使用 Apache-2.0 許可證，詳情請見 許可證鏈接。

📚 引用信息

如果您在工作中發現本模型很有用，請引用原始來源：

@article{yang2024qwen25mathtechnicalreportmathematical,
  title={Qwen2.5-Math Technical Report: Toward Mathematical Expert Model via Self-Improvement}, 
  author={An Yang and Beichen Zhang and Binyuan Hui and Bofei Gao and Bowen Yu and Chengpeng Li and Dayiheng Liu and Jianhong Tu and Jingren Zhou and Junyang Lin and Keming Lu and Mingfeng Xue and Runji Lin and Tianyu Liu and Xingzhang Ren and Zhenru Zhang},
  journal={arXiv preprint arXiv:2409.12122},
  year={2024}
}