Wizardlm 13B V1.2

🚀 WizardLM-13B V1.2全量权重模型

这是WizardLM-13B V1.2模型的全量权重，该模型基于Llama-2 13b训练而来。

项目链接

🤗 Hugging Face仓库 •🐱 GitHub仓库 • 🐦 Twitter • 📃 [WizardLM论文] • 📃 [WizardCoder论文] • 📃 [WizardMath论文]

👋 加入我们的 Discord社区

✨ 主要特性

模型发布动态

• 🔥🔥🔥[2023/08/26] 发布 WizardCoder-Python-34B-V1.0 ，在 HumanEval基准测试 中达到 73.2 pass@1 ，超越了 GPT4 (2023/03/15)、ChatGPT-3.5 和 Claude2 。更多详情请参考 WizardCoder。
• [2023/06/16] 发布 WizardCoder-15B-V1.0 ，在 HumanEval基准测试 中超越了 Claude-Plus (+6.8)、Bard (+15.3) 和 InstructCodeT5+ (+22.3) 。更多详情请参考 WizardCoder。
• 🔥 [08/11/2023] 发布 WizardMath 系列模型。
• 🔥 [2023/7/25] 发布 WizardLM V1.2 系列模型，其中 WizardLM-13B-V1.2 已上线（Demo_13B-V1.2，Demo_13B-V1.2_bak-1，全量模型权重）。请查看 论文。

模型性能表现

• WizardCoder系列：在代码生成任务上表现出色，不同版本在HumanEval和MBPP等基准测试中取得了优异成绩。
• WizardMath系列：
  • WizardMath-70B-V1.0 模型在GSM8K基准测试中略优于一些闭源大语言模型，包括 ChatGPT 3.5、Claude Instant 1 和 PaLM 2 540B。
  • WizardMath-70B-V1.0 模型在 GSM8k基准测试 中达到 81.6 pass@1 ，比当前最优的开源大语言模型高 24.8 分。
  • WizardMath-70B-V1.0 模型在 MATH基准测试 中达到 22.7 pass@1 ，比当前最优的开源大语言模型高 9.2 分。
• WizardLM系列：
  • WizardLM-13B-V1.2 在 MT-Bench排行榜 中达到 7.06 ，在 AlpacaEval排行榜 中达到 89.17% ，在 WizardLM评估 中达到 101.4% 。

模型信息表格

WizardCoder系列

WizardMath系列

WizardLM系列

模型系统提示使用说明

⚠️ 重要提示

WizardLM 采用了 Vicuna 的提示格式，支持 多轮 对话。提示格式如下：

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: Hi ASSISTANT: Hello.</s>USER: Who are you? ASSISTANT: I am WizardLM.</s>......

推理演示脚本说明

我们在 此处 提供了WizardLM的推理演示代码。

数据集相关说明

⚠️ 重要提示

近期，我们整个组织的代码、数据和模型的开源政策和规定发生了明显变化。尽管如此，我们仍努力先开放了模型的权重，但数据涉及更严格的审核，目前正在与我们的法律团队进行审核。我们的研究人员无权擅自公开发布这些数据。感谢您的理解。

引用说明

如果您使用了WizardLM的数据或代码，请引用以下论文：

@article{xu2023wizardlm,
  title={Wizardlm: Empowering large language models to follow complex instructions},
  author={Xu, Can and Sun, Qingfeng and Zheng, Kai and Geng, Xiubo and Zhao, Pu and Feng, Jiazhan and Tao, Chongyang and Jiang, Daxin},
  journal={arXiv preprint arXiv:2304.12244},
  year={2023}
}

仓库和Twitter链接

• 仓库地址：https://github.com/nlpxucan/WizardLM
• Twitter：WizardLM_AI

📄 许可证

本项目采用 Llama 2许可证。