Mathcoder CL 7B

🚀 MathCoder：大語言模型中無縫集成代碼以增強數學推理能力

MathCoder 是一系列專門為解決通用數學問題而設計的開源大語言模型（LLMs），能夠有效提升數學推理能力。

🚀 快速開始

你可以通過 Huggingface 的 Transformers 庫使用這些模型。使用 pipeline 函數創建一個文本生成管道，選擇你想要的模型，然後輸入一個數學問題即可得到解決方案。更多詳細信息請查看我們的 GitHub 倉庫。

✨ 主要特性

MathCoder 系列模型基於不同的基礎模型，為解決數學問題提供了多樣化的選擇：

📦 安裝指南

文檔未提及具體安裝步驟，可參考 GitHub 倉庫 獲取安裝相關信息。

📚 詳細文檔

訓練數據

這些模型是在 MathCodeInstruct 數據集上進行訓練的。

訓練過程

模型以原始的 Llama - 2 和 CodeLlama 模型為基礎模型，使用 MathCodeInstruct 數據集進行微調。更多詳細信息請查看我們的 論文 和 倉庫。

評估

評估結果如圖所示：

📄 許可證

本項目採用 Apache - 2.0 許可證。

📚 引用

如果您使用了我們的數據、模型或代碼，請引用以下論文。同時也請引用原始數據集的論文。

@inproceedings{
wang2024mathcoder,
title={MathCoder: Seamless Code Integration in {LLM}s for Enhanced Mathematical Reasoning},
author={Ke Wang and Houxing Ren and Aojun Zhou and Zimu Lu and Sichun Luo and Weikang Shi and Renrui Zhang and Linqi Song and Mingjie Zhan and Hongsheng Li},
booktitle={The Twelfth International Conference on Learning Representations},
year={2024},
url={https://openreview.net/forum?id=z8TW0ttBPp}
}

@inproceedings{
zhou2024solving,
title={Solving Challenging Math Word Problems Using {GPT}-4 Code Interpreter with Code-based Self-Verification},
author={Aojun Zhou and Ke Wang and Zimu Lu and Weikang Shi and Sichun Luo and Zipeng Qin and Shaoqing Lu and Anya Jia and Linqi Song and Mingjie Zhan and Hongsheng Li},
booktitle={The Twelfth International Conference on Learning Representations},
year={2024},
url={https://openreview.net/forum?id=c8McWs4Av0}
}