Metamath Llemma 7B

🚀 MetaMath-Llemma-7B模型

MetaMath-Llemma-7B模型基於強大的Llemma-7B模型，在MetaMathQA數據集上進行了全量微調。該模型在數學問答任務中表現出色，顯著提升了MATH任務的性能。

🚀 快速開始

你可以通過以下鏈接查看相關論文和項目頁面：

• 論文鏈接：https://arxiv.org/abs/2309.12284
• 項目頁面：https://meta-math.github.io/

✨ 主要特性

• 數據來源可靠：所有MetaMathQA數據均從GSM8K和MATH的訓練集增強而來，無測試集數據。
• 性能顯著提升：使用MetaMathQA數據集並將基礎模型從llama - 2 - 7B更換為Llemma - 7B後，MATH性能從19.8提升到了30.0。

📦 安裝指南

使用以下命令安裝所需的依賴庫：

pip install transformers==4.35.0
pip install torch==2.0.1
pip install sentencepiece==0.1.99
pip install tokenizers==0.13.3
pip install accelerate==0.21.0
pip install bitsandbytes==0.40.0
pip install vllm
pip install fraction
pip install protobuf

💻 使用示例

基礎用法

模型的提示模板如下：

"Below is an instruction that describes a task. "
"Write a response that appropriately completes the request.\n\n"
"### Instruction:\n{instruction}\n\n### Response: Let's think step by step."

你需要用你的查詢問題替換{instruction}。

📚 詳細文檔

實驗結果

以下是不同模型在GSM8k和MATH任務上的Pass@1指標對比：

引用信息

如果你使用了該模型或相關數據集，請引用以下論文：

@article{yu2023metamath,
  title={MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models},
  author={Yu, Longhui and Jiang, Weisen and Shi, Han and Yu, Jincheng and Liu, Zhengying and Zhang, Yu and Kwok, James T and Li, Zhenguo and Weller, Adrian and Liu, Weiyang},
  journal={arXiv preprint arXiv:2309.12284},
  year={2023}
}

@article{azerbayev2023llemma,
  title={Llemma: An open language model for mathematics},
  author={Azerbayev, Zhangir and Schoelkopf, Hailey and Paster, Keiran and Santos, Marco Dos and McAleer, Stephen and Jiang, Albert Q and Deng, Jia and Biderman, Stella and Welleck, Sean},
  journal={arXiv preprint arXiv:2310.10631},
  year={2023}
}

📄 許可證

本項目採用Apache - 2.0許可證。

⚠️ 重要提示

所有MetaMathQA數據均從GSM8K和MATH的訓練集增強而來，無測試集數據。你可以查看meta - math/MetaMathQA中的original_question，每個條目均來自GSM8K或MATH訓練集。