Llemma 34Bオープンソース数学言語モデル - 無料で様々な数学の難問解決をサポート

ホーム

Llemma 34b

EleutherAIによって開発

Llemma 34Bは数学分野に特化した言語モデルで、Code Llama 34Bの重みを初期値として使用し、Proof-Pile-2データセットで500億トークン訓練されました。

大規模言語モデル

Transformers

英語#数学的推論 #定理証明 #思考連鎖推論

ダウンロード数 60

リリース時間 : 9/27/2023

モデル概要

Llemmaは数学的推論と計算タスクに特化したオープンな数学言語モデルで、思考連鎖による数学的推論やPython、形式的定理証明器などの数学計算ツールの使用に優れた性能を発揮します。

モデル特徴

数学専門能力

数学分野に特化して最適化されており、数学的推論と計算タスクで優れた性能を発揮

思考連鎖推論

複雑な思考連鎖推論プロセスをサポートし、段階的に数学問題を解決可能

ツール統合

Pythonや形式的定理証明器などの数学計算ツールを使用可能

オープンモデル

オープンライセンスで公開されており、研究や商業利用が可能

モデル能力

数学問題解決

定理証明

数学的推論

思考連鎖推論

Pythonコード生成

形式的証明

使用事例

教育

数学問題解答

学生が様々な数学問題を理解し解決するのを支援

GSM8kなどの数学テストセットで優れた成績

数学指導

段階的な数学問題解決ガイドを提供

思考連鎖推論を通じて解答プロセスを提示

研究

数学定理証明

数学研究者が定理証明を行うのを支援

形式的定理証明器を使用可能

数学計算

複雑な数学計算タスクを実行

Pythonなどの計算ツールをサポート

🚀 Llemma 34B

Llemma 34B は数学用の言語モデルです。このモデルは、Code Llama 34B の重みで初期化され、Proof-Pile-2 の500億トークンで学習されました。

このモデルには、70億パラメータのバージョンもあります: Llemma 7B。

Zhangir Azerbayev, Hailey Schoelkopf, Keiran Paster, Marco Dos Santos, Stephen McAleer, Albert Q. Jiang, Jia Deng, Stella Biderman, Sean Welleck

🚀 クイックスタート

このセクションでは、Llemma 34B の概要と利用方法について説明します。

✨ 主な機能

Llemmaモデルは、連鎖思考型の数学的推論と、Pythonや形式的定理証明器などの数学用計算ツールの使用に特に強いです。

連鎖思考型数学

連鎖思考型の数学タスクでは、LlemmaモデルはLlama-2、Code Llamaを上回り、モデルサイズを統一した場合、Minervaを上回ります。

モデル	サイズ	GSM8k	OCW	MMLU-STEM	SAT	MATH
Llama 2	7B	11.8%	3.7%	29.9%	25%	3.2%
Code Llama	7B	10.5%	4.4%	25.1%	9.4%	4.5%
LLEMMA	7B	36.4%	7.7%	37.7%	53.1%	18.0%
Minerva	8B	16.2%	7.7%	35.6%	-	14.1%
----	----	----	----	----	----	----
Code Llama	34B	29.6%	7.0%	40.5%	40.6%	12.2%
LLEMMA	34B	51.5%	11.8%	49.0%	71.9%	25.0%
----	----	----	----	----	----	----
Minerva	62B	52.4%	12.0%	53.9%	-	27.6%
Minerva	540B	58.8%	17.6%	63.9%	-	33.6%

多数決を使用することで、さらに高い性能を引き出すことができます。

モデル	サイズ	GSM8k maj@100	OCW maj@100	MMLU-STEM maj@16	SAT maj@16	MATH maj@256
LLEMMA	7B	54.0%	14.3%	49.9%	78.1%	33.5
Minerva	8B	28.4%	12.5%	43.4%	-	25.4%
----	----	----	----	----	----	----
LLEMMA	34B	69.3%	18.4%	59.7%	81.3%	43.1%
----	----	----	----	----	----	----
Minerva	62B	68.5%	23.5%	63.5%	-	43.4%
Minerva	540B	78.5%	30.8%	75.0%	-	50.3%

ツール使用と定理証明

連鎖思考型の推論に加えて、Llemmaは計算数学タスクにも強い能力を持っています。ツール使用と形式的定理証明の評価については、当社の論文を参照してください。

📚 ドキュメント

引用

@misc{azerbayev2023llemma,
      title={Llemma: An Open Language Model For Mathematics}, 
      author={Zhangir Azerbayev and Hailey Schoelkopf and Keiran Paster and Marco Dos Santos and Stephen McAleer and Albert Q. Jiang and Jia Deng and Stella Biderman and Sean Welleck},
      year={2023},
      eprint={2310.10631},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}