Wizardcoder Python 7B V1.0

🚀 WizardCoder与WizardLM系列模型项目

本项目主要围绕WizardCoder、WizardMath和WizardLM等一系列模型展开，这些模型在代码生成、数学推理、通用问答等多个领域展现出了卓越的性能，为自然语言处理和人工智能研究提供了强大的工具和参考。

项目说明

这是官方仓库的副本，仅用于研究目的以复现结果。若存在版权问题，请联系我们。

项目链接

🤗 HF仓库 •🐱 Github仓库 • 🐦 Twitter • 📃 [WizardLM] • 📃 [WizardCoder] • 📃 [WizardMath]

👋 加入我们的 Discord

✨ 主要特性

模型信息

模型索引

• 名称：WizardCoder-Python-34B-V1.0
• 结果：
  • 任务类型：文本生成
  • 数据集：openai_humaneval（HumanEval）
  • 指标：
    • 名称：pass@1
    • 类型：pass@1
    • 值：0.555
    • 验证状态：未验证

📚 详细文档

最新消息

• 🔥🔥🔥[2023/08/26] 我们发布了 WizardCoder-Python-34B-V1.0，在 HumanEval基准测试 中达到了 73.2 pass@1，超越了 GPT4 (2023/03/15)、ChatGPT-3.5 和 Claude2。
• [2023/06/16] 我们发布了 WizardCoder-15B-V1.0，在 HumanEval基准测试 中达到了 57.3 pass@1，超越了 Claude-Plus (+6.8)、Bard (+15.3) 和 InstructCodeT5+ (+22.3)。

❗注意：GPT4和ChatGPT - 3.5有两个HumanEval结果。67.0和48.1是由 OpenAI 的官方GPT4报告（2023/03/15）公布的。82.0和72.5是我们使用最新API（2023/08/26）测试得到的。

WizardCoder系列模型表现

WizardMath系列模型表现

• 我们的 WizardMath-70B-V1.0 模型在GSM8K基准测试中略微优于一些闭源大语言模型，包括 ChatGPT 3.5、Claude Instant 1 和 PaLM 2 540B。
• 我们的 WizardMath-70B-V1.0 模型在 GSM8k基准测试 中达到了 81.6 pass@1，比当前最优的开源大语言模型高出 24.8 分；在 MATH基准测试 中达到了 22.7 pass@1，比当前最优的开源大语言模型高出 9.2 分。

WizardLM系列模型表现

• [08/09/2023] 我们发布了 WizardLM-70B-V1.0 模型。完整模型权重。

模型对比

🔥 下图显示，我们的 WizardCoder-Python-34B-V1.0在该基准测试中排名第二，超越了GPT4 (2023/03/15, 73.2 vs. 67.0)、ChatGPT - 3.5 (73.2 vs. 72.5) 和Claude2 (73.2 vs. 71.2)。

提示格式

"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:"

推理演示脚本

我们在 此处 提供了推理演示代码。

📄 许可证

本项目使用llama2许可证。

🔗 引用信息

如果您使用了本仓库中的数据、方法或代码，请引用以下论文：

@article{luo2023wizardcoder,
  title={WizardCoder: Empowering Code Large Language Models with Evol-Instruct},
  author={Luo, Ziyang and Xu, Can and Zhao, Pu and Sun, Qingfeng and Geng, Xiubo and Hu, Wenxiang and Tao, Chongyang and Ma, Jing and Lin, Qingwei and Jiang, Daxin},
  journal={arXiv preprint arXiv:2306.08568},
  year={2023}
}