Metamath Llemma 7B

🚀 MetaMath-Llemma-7B

MetaMath-Llemma-7Bは、MetaMathQAデータセットで完全にファインチューニングされた数学用の言語モデルです。強力なLlemma-7Bモデルをベースに構築され、MATHタスクでの性能向上が期待できます。

🚀 クイックスタート

本モデルの詳細や使い方については、以下のリンクを参照してください。

• 論文: https://arxiv.org/abs/2309.12284
• プロジェクトページ: https://meta-math.github.io/

✨ 主な機能

• MetaMathQAデータセットを使用して完全にファインチューニングされています。
• ベースモデルをLlemma-7Bに変更することで、MATHタスクの性能が大幅に向上します。

📦 インストール

必要なライブラリをインストールするには、以下のコマンドを実行してください。

pip install transformers==4.35.0
pip install torch==2.0.1
pip install sentencepiece==0.1.99
pip install tokenizers==0.13.3
pip install accelerate==0.21.0
pip install bitsandbytes==0.40.0
pip install vllm
pip install fraction
pip install protobuf

💻 使用例

基本的な使用法

以下は、モデルを使用するためのプロンプトテンプレートです。

prompt = '''
"Below is an instruction that describes a task. "
"Write a response that appropriately completes the request.\n\n"
"### Instruction:\n{instruction}\n\n### Response: Let's think step by step."
'''
# {instruction} を実際のクエリ質問に置き換える

高度な使用法

実際に使用する際には、{instruction} を実際のクエリ質問に置き換えてください。

📚 ドキュメント

データセットに関する注意事項

すべてのMetaMathQAデータは、GSM8KとMATHのトレーニングセットから拡張されています。拡張データのいずれもテストセットからは取得されていません。 meta-math/MetaMathQA の original_question を確認すると、各項目がGSM8KまたはMATHのトレーニングセットに由来することがわかります。

モデル詳細

MetaMath-Llemma-7Bは、MetaMathQAデータセットで完全にファインチューニングされ、強力なLlemma-7Bモデルをベースにしています。MetaMathQAデータセットを使用し、ベースモデルをllama-2-7BからLlemma-7Bに変更することで、MATHの性能が19.8から30.0に向上したことが確認されています。

実験結果

以下は、いくつかのモデルのGSM8k Pass@1とMATH Pass@1の結果です。

📄 ライセンス

本プロジェクトは、Apache-2.0ライセンスの下で提供されています。

📚 引用

本モデルやデータセットを使用する場合は、以下の文献を引用してください。

@article{yu2023metamath,
  title={MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models},
  author={Yu, Longhui and Jiang, Weisen and Shi, Han and Yu, Jincheng and Liu, Zhengying and Zhang, Yu and Kwok, James T and Li, Zhenguo and Weller, Adrian and Liu, Weiyang},
  journal={arXiv preprint arXiv:2309.12284},
  year={2023}
}

@article{azerbayev2023llemma,
  title={Llemma: An open language model for mathematics},
  author={Azerbayev, Zhangir and Schoelkopf, Hailey and Paster, Keiran and Santos, Marco Dos and McAleer, Stephen and Jiang, Albert Q and Deng, Jia and Biderman, Stella and Welleck, Sean},
  journal={arXiv preprint arXiv:2310.10631},
  year={2023}
}