WizardCoder - Python-13B-V1.0开源代码模型 - 免费部署高效生成代码

首页

Wizardcoder Python 13B V1.0

由 WizardLMTeam 开发

WizardCoder是通过Evol-Instruct方法增强的代码大语言模型，专注于代码生成任务。

大型语言模型

Transformers

其他#代码生成 #Python优化 #大语言模型

下载量 681

发布时间 : 8/26/2023

模型简介

该模型是基于Llama2架构的13B参数代码生成模型，专门针对Python编程语言优化，在HumanEval基准测试中达到64.0 pass@1的优异表现。

模型特点

Evol-Instruct增强

采用Evol-Instruct方法进行指令优化，显著提升代码生成能力

高性能代码生成

在HumanEval基准测试中达到64.0 pass@1的优异成绩

Python专业化

专门针对Python编程语言进行优化训练

模型能力

Python代码生成

代码补全

编程问题解答

使用案例

软件开发

自动化代码生成

根据自然语言描述生成Python代码

在HumanEval测试中达到64%的一次通过率

编程教育辅助

帮助学生理解和生成Python代码示例

🚀 WizardCoder：借助Evol - Instruct赋能代码大语言模型

WizardCoder是一款专注于代码生成的大语言模型，通过Evol - Instruct技术增强了模型的代码生成能力，在多个代码评估基准测试中表现出色，为开发者提供了强大的代码生成支持。

基本信息

属性	详情
模型类型	WizardCoder - Python - 13B - V1.0
训练数据	未提及
许可证	llama2
评估指标	code_eval
库名称	transformers
标签	code

模型结果

模型名称	任务类型	数据集	指标	值	验证状态
WizardCoder - Python - 13B - V1.0	文本生成	HumanEval（openai_humaneval）	pass@1	0.64	未验证

🔗 相关链接

🏠 主页

🤗 HF仓库 •🐱 Github仓库 • 🐦 Twitter

📃 [WizardLM] • 📃 [WizardCoder] • 📃 [WizardMath]

👋 加入我们的 Discord

📢 最新消息

[2024/01/04] 🔥 我们发布了 WizardCoder - 33B - V1.1，该模型基于deepseek - coder - 33b - base训练，是 EvalPlus排行榜上的 最优开源代码大语言模型，在HumanEval上达到 79.9 pass@1，在HumanEval - Plus上达到 73.2 pass@1，在MBPP上达到 78.9 pass@1，在MBPP - Plus上达到 66.9 pass@1。
[2024/01/04] 🔥 WizardCoder - 33B - V1.1 在HumanEval和HumanEval - Plus的pass@1指标上超越了 ChatGPT 3.5、Gemini Pro 和 DeepSeek - Coder - 33B - instruct。
[2024/01/04] 🔥 WizardCoder - 33B - V1.1 在MBPP和MBPP - Plus的pass@1指标上与 ChatGPT 3.5 相当，并且超越了 Gemini Pro。

代码模型对比

模型	检查点	论文	HumanEval	HumanEval+	MBPP	MBPP+	许可证
GPT - 4 - Turbo (2023年11月)	-	-	85.4	81.7	83.0	70.7	-
GPT - 4 (2023年5月)	-	-	88.4	76.8	-	-	-
GPT - 3.5 - Turbo (2023年11月)	-	-	72.6	65.9	81.7	69.4	-
Gemini Pro	-	-	63.4	55.5	72.9	57.9	-
DeepSeek - Coder - 33B - instruct	-	-	78.7	72.6	78.7	66.7	-
WizardCoder - 33B - V1.1	🤗 HF链接	📃 [WizardCoder]	79.9	73.2	78.9	66.9	MSFTResearch
WizardCoder - Python - 34B - V1.0	🤗 HF链接	📃 [WizardCoder]	73.2	64.6	73.2	59.9	Llama2
WizardCoder - 15B - V1.0	🤗 HF链接	📃 [WizardCoder]	59.8	52.4	--	--	OpenRAIL - M
WizardCoder - Python - 13B - V1.0	🤗 HF链接	📃 [WizardCoder]	64.0	--	--	--	Llama2
WizardCoder - Python - 7B - V1.0	🤗 HF链接	📃 [WizardCoder]	55.5	--	--	--	Llama2
WizardCoder - 3B - V1.0	🤗 HF链接	📃 [WizardCoder]	34.8	--	--	--	OpenRAIL - M
WizardCoder - 1B - V1.0	🤗 HF链接	📃 [WizardCoder]	23.8	--	--	--	OpenRAIL - M

数学模型对比

我们的 WizardMath - 70B - V1.0 模型在GSM8K基准测试中略微超过了一些闭源大语言模型，包括 ChatGPT 3.5、Claude Instant 1 和 PaLM 2 540B。
我们的 WizardMath - 70B - V1.0 模型在 [GSM8k基准测试](https://github.com/openai/grade - school - math) 中达到 81.6 pass@1，比最优开源大语言模型高出 24.8 分，在 MATH基准测试中达到 22.7 pass@1，比最优开源大语言模型高出 9.2 分。

模型	检查点	论文	GSM8k	MATH	在线演示	许可证
WizardMath - 70B - V1.0	🤗 HF链接	📃 [WizardMath]	81.6	22.7	演示	Llama 2
WizardMath - 13B - V1.0	🤗 HF链接	📃 [WizardMath]	63.9	14.0	演示	Llama 2
WizardMath - 7B - V1.0	🤗 HF链接	📃 [WizardMath]	54.9	10.7	演示	Llama 2

WizardLM模型对比

[2023/08/09] 我们发布了 WizardLM - 70B - V1.0 模型。完整模型权重。

模型	检查点	论文	MT - Bench	AlpacaEval	GSM8k	HumanEval	许可证
WizardLM - 70B - V1.0	🤗 HF链接	📃即将发布	7.78	92.91%	77.6%	50.6	Llama 2许可证
WizardLM - 13B - V1.2	🤗 HF链接		7.06	89.17%	55.3%	36.6	Llama 2许可证
WizardLM - 13B - V1.1	🤗 HF链接		6.76	86.32%		25.0	非商业用途
WizardLM - 30B - V1.0	🤗 HF链接		7.01			37.8	非商业用途
WizardLM - 13B - V1.0	🤗 HF链接		6.35	75.31%		24.0	非商业用途
WizardLM - 7B - V1.0	🤗 HF链接	📃 [WizardLM]				19.1	非商业用途

📊 WizardCoder - Python - 34B - V1.0与其他大语言模型对比

🔥 下图显示我们的 WizardCoder - Python - 34B - V1.0在该基准测试中获得第二名，超越了GPT4（2023/03/15，73.2 vs. 67.0）、ChatGPT - 3.5（73.2 vs. 72.5）和Claude2（73.2 vs. 71.2）。

💬 提示格式

"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:"

🚀 推理演示脚本

我们在此处提供了推理演示代码。

⚠️ 重要提示

此脚本支持 WizardLM/WizardCoder - Python - 34B/13B/7B - V1.0。如果您想对 WizardLM/WizardCoder - 15B/3B/1B - V1.0 进行推理，请在脚本中将 stop_tokens = ['</s>'] 更改为 stop_tokens = ['<|endoftext|>']。

📚 引用

如果您使用了本仓库中的数据、方法或代码，请引用该仓库。

@article{luo2023wizardcoder,
  title={WizardCoder: Empowering Code Large Language Models with Evol-Instruct},
  author={Luo, Ziyang and Xu, Can and Zhao, Pu and Sun, Qingfeng and Geng, Xiubo and Hu, Wenxiang and Tao, Chongyang and Ma, Jing and Lin, Qingwei and Jiang, Daxin},
  journal={arXiv preprint arXiv:2306.08568},
  year={2023}
}