Metamath 7B V1.0

🚀 MetaMath-Llemma-7B項目

MetaMath-Llemma-7B是基於強大的Llemma-7B模型，在MetaMathQA數據集上進行全量微調的模型。該模型在數學任務上表現出色，能有效提升解題性能。

🚀 快速開始

你可以通過以下鏈接查看項目相關信息：

• 論文鏈接：https://arxiv.org/abs/2309.12284
• 項目主頁：https://meta-math.github.io/

✨ 主要特性

• 數據來源可靠：所有MetaMathQA數據均從GSM8K和MATH的訓練集擴充而來，無測試集數據。
• 性能提升顯著：使用MetaMathQA數據集，並將基礎模型從llama-2-7B更換為Llemma-7B後，MATH任務的Pass@1指標從19.8提升到了30.0。

📦 安裝指南

使用以下命令安裝所需依賴：

pip install transformers==4.35.0
pip install torch==2.0.1
pip install sentencepiece==0.1.99
pip install tokenizers==0.13.3
pip install accelerate==0.21.0
pip install bitsandbytes==0.40.0
pip install vllm
pip install fraction
pip install protobuf

💻 使用示例

基礎用法

模型的提示模板如下：

"Below is an instruction that describes a task. "
"Write a response that appropriately completes the request.\n\n"
"### Instruction:\n{instruction}\n\n### Response: Let's think step by step."

你需要將{instruction}替換為你的查詢問題。

📚 詳細文檔

數據說明

所有MetaMathQA數據均從GSM8K和MATH的訓練集擴充而來，你可以查看meta-math/MetaMathQA中的original_question，每個條目都來自GSM8K或MATH的訓練集。

實驗結果

以下是不同模型在GSM8k和MATH任務上的Pass@1指標對比：

📄 許可證

本項目使用的許可證為llama2。

📚 引用信息

如果你使用了本項目的相關內容，請引用以下論文：

@article{yu2023metamath,
  title={MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models},
  author={Yu, Longhui and Jiang, Weisen and Shi, Han and Yu, Jincheng and Liu, Zhengying and Zhang, Yu and Kwok, James T and Li, Zhenguo and Weller, Adrian and Liu, Weiyang},
  journal={arXiv preprint arXiv:2309.12284},
  year={2023}
}