llemma_7b开源数学领域语言模型 - 免费助力数学问题高效解决

首页

Llemma 7b

由 EleutherAI 开发

Llemma 34B 是一款专注于数学领域的语言模型，基于Code Llama 34B权重初始化，并在Proof-Pile-2数据集上训练。

大型语言模型

Transformers

英语#数学推理 #思维链优化 #定理证明

下载量 3,668

发布时间 : 9/12/2023

模型简介

Llemma系列模型在思维链数学推理以及使用Python和形式化定理证明器等数学计算工具方面表现尤为突出。

模型特点

数学推理能力

在思维链数学任务中全面超越Llama-2和Code Llama，性能优于Minerva。

工具使用能力

支持使用Python和形式化定理证明器等数学计算工具。

多数投票策略提升性能

通过多数投票策略可进一步提升模型在数学任务中的表现。

模型能力

数学问题求解

定理证明

数学推理

工具使用（Python、定理证明器）

使用案例

教育

数学问题解答

解答各类数学问题，包括代数、几何、微积分等。

在GSM8k数据集上达到51.5%的准确率。

数学竞赛题目求解

解决数学竞赛中的复杂题目。

在MATH数据集上达到25.0%的准确率。

研究

定理证明

辅助数学研究者进行定理证明。

详见论文中的定理证明评估部分。

🚀 Llemma 数学语言模型

Llemma是一款专注于数学领域的语言模型，它在链式思维数学推理以及运用Python和形式定理证明器等计算工具解决数学问题方面表现出色。本模型有7B和34B参数两种版本可供选择。

Llemma

ArXiv | 模型 | 数据 | 代码 | 博客 | 示例浏览器

作者：Zhangir Azerbayev、Hailey Schoelkopf、Keiran Paster、Marco Dos Santos、Stephen McAleer、Albert Q. Jiang、Jia Deng、Stella Biderman、Sean Welleck

🚀 快速开始

Llemma 7B 是一款用于数学的语言模型。它以 Code Llama 7B 的权重为初始值，并在 Proof-Pile-2 数据集上进行了2000亿个标记的训练。

该模型还有34B参数版本：Llemma 34B。

✨ 主要特性

模型信息

属性	详情
模型类型	数学语言模型
训练数据	EleutherAI/proof-pile-2、open-web-math/open-web-math
许可证	llama2

评估表现

Llemma模型在链式思维数学推理以及使用Python和形式定理证明器等数学计算工具方面表现尤为出色。

链式思维数学推理

在链式思维数学任务中，Llemma模型的表现优于Llama-2、Code Llama，并且在模型规模相当时，优于Minerva。

模型	规模	GSM8k	OCW	MMLU-STEM	SAT	MATH
Llama 2	7B	11.8%	3.7%	29.9%	25%	3.2%
Code Llama	7B	10.5%	4.4%	25.1%	9.4%	4.5%
LLEMMA	7B	36.4%	7.7%	37.7%	53.1%	18.0%
Minerva	8B	16.2%	7.7%	35.6%	-	14.1%
------------	------	--------	-------	-----------	-------	-------
Code Llama	34B	29.6%	7.0%	40.5%	40.6%	12.2%
LLEMMA	34B	51.5%	11.8%	49.0%	71.9%	25.0%
------------	------	--------	-------	-----------	-------	-------
Minerva	62B	52.4%	12.0%	53.9%	-	27.6%
Minerva	540B	58.8%	17.6%	63.9%	-	33.6%

通过多数投票法可以进一步提升性能：

模型	规模	GSM8k maj@100	OCW maj@100	MMLU-STEM maj@16	SAT maj@16	MATH maj@256
LLEMMA	7B	54.0%	14.3%	49.9%	78.1%	33.5
Minerva	8B	28.4%	12.5%	43.4%	-	25.4%
---------	------	-------------	-----------	-----------------	-----------	------------
LLEMMA	34B	69.3%	18.4%	59.7%	81.3%	43.1%
---------	------	-------------	-----------	-----------------	-----------	------------
Minerva	62B	68.5%	23.5%	63.5%	-	43.4%
Minerva	540B	78.5%	30.8%	75.0%	-	50.3%

工具使用和定理证明

除了链式思维推理，Llemma在计算数学任务方面也具有强大的能力。有关工具使用和形式定理证明的评估，请参阅我们的论文。

引用信息

@misc{azerbayev2023llemma,
      title={Llemma: An Open Language Model For Mathematics}, 
      author={Zhangir Azerbayev and Hailey Schoelkopf and Keiran Paster and Marco Dos Santos and Stephen McAleer and Albert Q. Jiang and Jia Deng and Stella Biderman and Sean Welleck},
      year={2023},
      eprint={2310.10631},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}