Metamath 7B V1.0

🚀 MetaMath-Llemma-7B

MetaMath-Llemma-7Bは、MetaMathQAデータセットで完全にファインチューニングされたモデルです。強力なLlemma-7Bモデルをベースに構築され、数学的なタスクで高い性能を発揮します。

🚀 クイックスタート

論文はこちらからご覧いただけます: https://arxiv.org/abs/2309.12284 プロジェクトページはこちらです: https://meta-math.github.io/

✨ 主な機能

• MetaMathQAデータセットを用いて完全にファインチューニングされています。
• ベースモデルをLlemma-7Bに変更することで、MATHの性能を19.8から30.0に向上させました。

📦 インストール

以下のコマンドを使用して必要なライブラリをインストールしてください。

pip install transformers==4.35.0
pip install torch==2.0.1
pip install sentencepiece==0.1.99
pip install tokenizers==0.13.3
pip install accelerate==0.21.0
pip install bitsandbytes==0.40.0
pip install vllm
pip install fraction
pip install protobuf

💻 使用例

基本的な使用法

プロンプトテンプレートは以下の通りです。

"""
"Below is an instruction that describes a task. "
"Write a response that appropriately completes the request.\n\n"
"### Instruction:\n{instruction}\n\n### Response: Let's think step by step."
"""

ここで、{instruction} を実際のクエリ質問に置き換えて使用します。

📚 ドキュメント

注意事項

すべてのMetaMathQAデータは、GSM8KとMATHのトレーニングセットから拡張されています。拡張データのどれもテストセットからは取得されていません。 meta-math/MetaMathQA の original_question を確認すると、各項目がGSM8KまたはMATHのトレーニングセットに由来することがわかります。

実験結果

📄 ライセンス

このプロジェクトはLlama2ライセンスの下で提供されています。

📚 引用

@article{yu2023metamath,
  title={MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models},
  author={Yu, Longhui and Jiang, Weisen and Shi, Han and Yu, Jincheng and Liu, Zhengying and Zhang, Yu and Kwok, James T and Li, Zhenguo and Weller, Adrian and Liu, Weiyang},
  journal={arXiv preprint arXiv:2309.12284},
  year={2023}
}