Metamath Mistral 7B

🚀 MetaMath-Mistral-7B

MetaMath-Mistral-7B 是基於強大的 Mistral-7B 模型，在 MetaMathQA 數據集上進行全量微調的模型。該模型顯著提升了在 GSM8K 等數學問答任務上的表現，為數學領域的大語言模型應用帶來新的突破。

🚀 快速開始

你可以通過以下鏈接查看項目的相關信息：

• 查看我們的論文：https://arxiv.org/abs/2309.12284
• 訪問項目頁面：https://meta-math.github.io/

✨ 主要特性

• 數據來源可靠：所有 MetaMathQA 數據均從 GSM8K 和 MATH 的訓練集擴充而來，無測試集數據。
• 性能顯著提升：使用 MetaMathQA 數據集並將基礎模型從 llama-2-7B 更換為 Mistral-7B，使 GSM8K 性能從 66.5 提升到 77.7。

📦 安裝指南

使用以下命令安裝所需的依賴庫：

pip install transformers==4.35.0
pip install torch==2.0.1
pip install sentencepiece==0.1.99
pip install tokenizers==0.13.3
pip install accelerate==0.21.0
pip install bitsandbytes==0.40.0
pip install vllm
pip install fraction
pip install protobuf

💻 使用示例

基礎用法

提示模板如下：

"Below is an instruction that describes a task. "
"Write a response that appropriately completes the request.\n\n"
"### Instruction:\n{instruction}\n\n### Response: Let's think step by step."

你需要用查詢問題替換 {instruction}。

高級用法

還有一個關於 Arithmo-Mistral-7B 的有趣倉庫：https://huggingface.co/akjindal53244/Arithmo-Mistral-7B，他們結合了 MetaMathQA 數據集和 MathInstruct 數據集訓練了一個強大的模型。我們也將嘗試使用 MetaMathQA 和 MathInstruct 數據集的組合進行訓練，並公開所有結果和訓練細節。

📚 詳細文檔

注意事項

• 所有 MetaMathQA 數據均從 GSM8K 和 MATH 的訓練集擴充而來，無任何擴充數據來自測試集。你可以查看 meta-math/MetaMathQA 中的 original_question，每個項目都來自 GSM8K 或 MATH 訓練集。

模型詳情

MetaMath-Mistral-7B 在 MetaMathQA 數據集上進行全量微調，基於 Mistral-7B 模型。為了微調 Mistral-7B，建議使用較小的學習率（通常是 LlaMa-2-7B 學習率的 1/5 到 1/10），並保持其他訓練參數不變。更多訓練細節和腳本可查看：https://github.com/meta-math/MetaMath。

實驗結果

📄 許可證

本項目使用 Apache-2.0 許可證。

🔧 技術細節

數據集

引用信息

@article{yu2023metamath,
  title={MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models},
  author={Yu, Longhui and Jiang, Weisen and Shi, Han and Yu, Jincheng and Liu, Zhengying and Zhang, Yu and Kwok, James T and Li, Zhenguo and Weller, Adrian and Liu, Weiyang},
  journal={arXiv preprint arXiv:2309.12284},
  year={2023}
}

@article{jiang2023mistral,
  title={Mistral 7B},
  author={Jiang, Albert Q and Sablayrolles, Alexandre and Mensch, Arthur and Bamford, Chris and Chaplot, Devendra Singh and Casas, Diego de las and Bressand, Florian and Lengyel, Gianna and Lample, Guillaume and Saulnier, Lucile and others},
  journal={arXiv preprint arXiv:2310.06825},
  year={2023}
}

⚠️ 重要提示

所有 MetaMathQA 數據均從 GSM8K 和 MATH 的訓練集擴充而來，無測試集數據。

💡 使用建議

微調 Mistral-7B 時，建議使用較小的學習率（通常是 LlaMa-2-7B 學習率的 1/5 到 1/10），並保持其他訓練參數不變。