Parallel_7B MathOctopus开源模型 - 支持10种语言，免费解决各类数学问题

首页

Parallel 7B

由 Mathoctopus 开发

MathOctopus是基于LLaMA 2架构的多语言数学推理大语言模型，支持10种语言，专注于解决数学问题。

大型语言模型

Transformers

支持多种语言开源协议:Apache-2.0 #多语言数学推理 #跨语言迁移学习 #数学问题求解

下载量 14

发布时间 : 10/13/2023

模型简介

MathOctopus系列开源大语言模型专为多语言数学问题求解设计，基于MGSM8KInstruct数据集训练，涵盖十种不同语言。该模型显著优于传统开源大语言模型，并在少样本场景下超越ChatGPT表现。

模型特点

多语言数学推理

支持10种语言的数学问题求解，打破语言壁垒

并行训练策略

采用并行训练方法提升模型性能

拒绝采样优化

通过xRFT(多语言拒绝采样)进一步优化模型表现

超越ChatGPT

在少样本场景下表现优于ChatGPT

模型能力

多语言数学问题求解

数学推理

多语言文本理解

复杂问题分步解答

使用案例

教育

多语言数学辅导

为不同语言背景的学生提供数学问题解答

在MGSM测试集上总体准确率达40.0%

在线教育平台

集成到教育软件中提供多语言数学支持

研究

多语言NLP研究

用于研究多语言模型在数学领域的表现

🚀 🐙 打破多语言数学推理的语言障碍：见解与观察

本项目推出了一系列专为多语言数学问题解决而定制的开源大语言模型（LLMs）——🐙 MathOctopus。这些模型在包含十种不同语言的 🤗 MGSM8KInstruct 数据集上进行训练，显著优于传统的开源大语言模型，并且在小样本场景中表现优于 ChatGPT。

🚀 快速开始

项目页面：https://mathoctopus.github.io/
论文地址：https://arxiv.org/abs/2310.20246.pdf
代码仓库：https://github.com/microsoft/MathOctopus

✨ 主要特性

多语言支持：支持英语（En）、斯瓦希里语（Sw）、中文（Zh）、孟加拉语（Bn）、德语（De）、西班牙语（Es）、法语（Fr）、日语（Ja）、俄语（Ru）和泰语（Th）等十种语言。
性能优越：在多语言数学问题解决上，显著超越传统开源大语言模型，在小样本场景中优于 ChatGPT。

📦 数据集

MGSM8KInstruct

训练数据集	英语（En）	斯瓦希里语（Sw）	中文（Zh）	孟加拉语（Bn）	德语（De）	西班牙语（Es）	法语（Fr）	日语（Ja）	俄语（Ru）	泰语（Th）	总计
MGSM8KInstruct	7473	7472	7466	6539	7466	7470	7469	7471	7361	7473	73.6K

MSVAMP

测试数据集	英语（En）	斯瓦希里语（Sw）	中文（Zh）	孟加拉语（Bn）	德语（De）	西班牙语（Es）	法语（Fr）	日语（Ja）	俄语（Ru）	泰语（Th）	总计
MSVAMP	1000	1000	1000	1000	1000	1000	1000	1000	1000	1000	10K

使用方式

我们的数据集和模型均可在 Huggingface 上获取：

📚 模型

基础模型：LLama	并行训练	交叉训练
7B-LLaMA 2	🐙 MathOctopus-Parallel-7B	🐙 MathOctopus-Cross-7B
	🐙 MathOctopus-Parallel-xRFT-7B	🐙 MathOctopus-Cross-xRFT-7B
13B-LLaMA 2	🐙 MathOctopus-Parallel-13B	🐙 MathOctopus-Cross-13B
	🐙 MathOctopus-Parallel-xRFT-13B	🐙 MathOctopus-Cross-xRFT-13B
33B-LLaMA 1	🐙 MathOctopus-Parallel-33B	🐙 MathOctopus-Cross-33B
70B-LLaMA 2	即将推出！	即将推出！

*-Parallel 指使用并行训练策略训练的模型。
*-Cross 指使用交叉训练策略训练的模型。
*-xRFT 表示使用多语言拒绝采样训练模型。

MGSM 整体结果

7B 模型

模型	英语（En）	斯瓦希里语（Sw）	中文（Zh）	孟加拉语（Bn）	德语（De）	西班牙语（Es）	法语（Fr）	日语（Ja）	俄语（Ru）	泰语（Th）	总体
MathOctopus^C	52.0	23.6	31.6	18.8	38.0	39.2	36.4	27.2	33.6	21.6	32.2
xRFT-MathOctopus^C	51.2	24.0	33.2	18.8	36.0	41.2	37.6	29.6	36.4	25.2	33.3
MathOctopus^P-LoRA	30.4	15.2	23.6	10.4	22.8	24.8	26.4	18.0	22.0	14.8	20.8
MathOctopus^P	52.4	39.2	38.4	28.8	44.8	42.4	43.6	36.0	39.6	34.4	40.0
xRFT-MathOctopus^P	54.8	38.4	45.2	33.2	43.6	45.2	38.0	35.6	48.4	36.4	41.9

13B 模型

模型	英语（En）	斯瓦希里语（Sw）	中文（Zh）	孟加拉语（Bn）	德语（De）	西班牙语（Es）	法语（Fr）	日语（Ja）	俄语（Ru）	泰语（Th）	总体
MathOctopus^C	56.4	27.2	39.2	24.0	47.6	49.6	47.6	40.4	42.0	24.8	39.9
xRFT-MathOctopus^C	53.6	28.0	45.2	21.2	48.0	46.4	46.0	35.2	45.6	28.8	39.8
MathOctopus^P	53.2	42.8	48.8	35.2	44.4	48.0	48.4	43.2	47.6	46.8	45.8
xRFT-MathOctopus^P	51.6	46.0	51.2	42.0	49.2	53.2	49.6	39.6	47.6	46.0	47.6

30 - 34B 模型

模型	英语（En）	斯瓦希里语（Sw）	中文（Zh）	孟加拉语（Bn）	德语（De）	西班牙语（Es）	法语（Fr）	日语（Ja）	俄语（Ru）	泰语（Th）	总体
MathOctopus^C	55.6	24.4	36.0	19.2	40.4	51.2	44.4	27.2	37.2	21.6	35.7
xRFT-MathOctopus^C	53.6	27.6	34.4	19.2	47.2	47.6	44.8	30.8	38.8	22.8	36.7
MathOctopus^P	56.4	46.8	52.0	35.2	47.2	53.2	48.0	39.2	45.6	41.2	46.5
xRFT-MathOctopus^P	51.6	47.2	52.4	37.6	51.2	52.8	44.4	41.6	50.0	47.6	47.6

MSVAMP 整体结果

7B 模型

模型	英语（En）	斯瓦希里语（Sw）	中文（Zh）	孟加拉语（Bn）	德语（De）	西班牙语（Es）	法语（Fr）	日语（Ja）	俄语（Ru）	泰语（Th）	总体
MathOctopus^C	49.2	36.6	43.6	30.2	48.6	46.8	46.4	42.5	46.7	34.0	42.5
xRFT-MathOctopus^C	49.9	37.7	43.3	32.9	46.5	47.6	47.3	42.7	46.6	36.2	43.1
MathOctopus^P-LoRA	30.4	15.2	23.6	10.4	22.8	24.8	26.4	18.0	22.0	14.8	20.8
MathOctopus^P	46.5	40.1	42.5	29.1	43.5	45.4	46.0	42.5	45.4	35.7	41.7
xRFT-MathOctopus^P	46.8	42.3	43.2	32.8	43.1	44.5	45.3	43.2	42.1	40.5	42.4

13B 模型

模型	英语（En）	斯瓦希里语（Sw）	中文（Zh）	孟加拉语（Bn）	德语（De）	西班牙语（Es）	法语（Fr）	日语（Ja）	俄语（Ru）	泰语（Th）	总体
MathOctopus^C	56.6	40.4	49.0	30.3	50.9	54.2	54.7	46.3	52.4	35.7	47.1
xRFT-MathOctopus^C	52.9	41.9	49.2	34.1	50.5	52.8	51.5	45.8	50.2	35.7	46.5
MathOctopus^P	50.7	43.4	42.6	31.8	48.4	49.4	50.6	41.1	46.9	39.3	44.4
xRFT-MathOctopus^P	44.6	43.4	46.4	34.2	47.7	48.2	49.9	43.1	48.2	39.5	44.5

30 - 34B 模型

模型	英语（En）	斯瓦希里语（Sw）	中文（Zh）	孟加拉语（Bn）	德语（De）	西班牙语（Es）	法语（Fr）	日语（Ja）	俄语（Ru）	泰语（Th）	总体
MathOctopus^C	51.5	42.1	46.2	23.2	50.5	52.1	52.9	42.2	50.5	33.4	44.5
xRFT-MathOctopus^C	48.1	42.8	43.6	23.3	48.7	50.0	48.9	43.4	44.6	35.5	42.9
MathOctopus^P	56.4	46.8	52.0	35.2	47.2	53.2	48.0	39.2	45.6	41.2	46.5
xRFT-MathOctopus^P	48.0	42.3	46.1	36.2	47.5	48.5	48.3	45.8	47.2	41.2	45.1

英语环境下的 MathOctopus 表现

模型	GSM8K	SVAMP
LLaMA 2 - 7B	42.4	38.3
MathOctopus^P-7B	49.3	46.8
MathOctopus^C-7B	50.8	49.3
LLaMA 2 - 13B	51.0	50.9
MathOctopus^P-13B	55.5	52.1
MathOctopus^C-13B	56.6	56.6
LLaMA 1 - 33B	50.0	49.0
MathOctopus^P-33B	56.0	52.5
MathOctopus^C-33B	53.7	51.5

📚 预期用途

这些模型是为研究目的而训练的，旨在解决多语言数学问题。它们可用于教育软件、辅导系统或任何需要解决数学问题的应用程序。

📄 许可证

本项目采用 Apache-2.0 许可证。

📚 引用

如果您使用了我们的数据、模型或代码，请引用我们的论文，同时也请引用原始数据集论文。

@misc{chen2023breaking,
      title={Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations}, 
      author={Nuo Chen and Zinan Zheng and Ning Wu and Linjun Shou and Ming Gong and Yangqiu Song and Dongmei Zhang and Jia Li},
      year={2023},
      eprint={2310.20246},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}