Metamath Llemma 7B

🚀 MetaMath-Llemma-7B模型

MetaMath-Llemma-7B模型基于强大的Llemma-7B模型，在MetaMathQA数据集上进行了全量微调。该模型在数学问答任务中表现出色，显著提升了MATH任务的性能。

🚀 快速开始

你可以通过以下链接查看相关论文和项目页面：

• 论文链接：https://arxiv.org/abs/2309.12284
• 项目页面：https://meta-math.github.io/

✨ 主要特性

• 数据来源可靠：所有MetaMathQA数据均从GSM8K和MATH的训练集增强而来，无测试集数据。
• 性能显著提升：使用MetaMathQA数据集并将基础模型从llama - 2 - 7B更换为Llemma - 7B后，MATH性能从19.8提升到了30.0。

📦 安装指南

使用以下命令安装所需的依赖库：

pip install transformers==4.35.0
pip install torch==2.0.1
pip install sentencepiece==0.1.99
pip install tokenizers==0.13.3
pip install accelerate==0.21.0
pip install bitsandbytes==0.40.0
pip install vllm
pip install fraction
pip install protobuf

💻 使用示例

基础用法

模型的提示模板如下：

"Below is an instruction that describes a task. "
"Write a response that appropriately completes the request.\n\n"
"### Instruction:\n{instruction}\n\n### Response: Let's think step by step."

你需要用你的查询问题替换{instruction}。

📚 详细文档

实验结果

以下是不同模型在GSM8k和MATH任务上的Pass@1指标对比：

引用信息

如果你使用了该模型或相关数据集，请引用以下论文：

@article{yu2023metamath,
  title={MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models},
  author={Yu, Longhui and Jiang, Weisen and Shi, Han and Yu, Jincheng and Liu, Zhengying and Zhang, Yu and Kwok, James T and Li, Zhenguo and Weller, Adrian and Liu, Weiyang},
  journal={arXiv preprint arXiv:2309.12284},
  year={2023}
}

@article{azerbayev2023llemma,
  title={Llemma: An open language model for mathematics},
  author={Azerbayev, Zhangir and Schoelkopf, Hailey and Paster, Keiran and Santos, Marco Dos and McAleer, Stephen and Jiang, Albert Q and Deng, Jia and Biderman, Stella and Welleck, Sean},
  journal={arXiv preprint arXiv:2310.10631},
  year={2023}
}

📄 许可证

本项目采用Apache - 2.0许可证。

⚠️ 重要提示

所有MetaMathQA数据均从GSM8K和MATH的训练集增强而来，无测试集数据。你可以查看meta - math/MetaMathQA中的original_question，每个条目均来自GSM8K或MATH训练集。