🚀 WizardCoder:藉助Evol - Instruct賦能代碼大語言模型
WizardCoder是一系列專注於代碼生成的大語言模型,通過Evol - Instruct方法進行訓練,在多個代碼評估基準上取得了優異的成績,為代碼生成領域提供了強大的開源解決方案。
項目鏈接
✨ 主要特性
模型指標
屬性 |
詳情 |
模型類型 |
WizardCoder - Python - 34B - V1.0 |
評估指標 |
code_eval |
庫名稱 |
transformers |
標籤 |
code |
許可證 |
Llama2 |
最新消息
- [2024/01/04] 🔥 我們發佈了基於deepseek - coder - 33b - base訓練的 WizardCoder - 33B - V1.1,它是 EvalPlus排行榜 上的 最優開源代碼大語言模型,在HumanEval上達到 79.9 pass@1,在HumanEval - Plus上達到 73.2 pass@1,在MBPP上達到 78.9 pass@1,在MBPP - Plus上達到 66.9 pass@1。
- [2024/01/04] 🔥 WizardCoder - 33B - V1.1 在HumanEval和HumanEval - Plus的pass@1指標上超過了 ChatGPT 3.5、Gemini Pro 和 DeepSeek - Coder - 33B - instruct。
- [2024/01/04] 🔥 WizardCoder - 33B - V1.1 在MBPP和MBPP - Plus的pass@1指標上與 ChatGPT 3.5 相當,並超過了 Gemini Pro。
代碼模型對比
數學模型對比
- 我們的 WizardMath - 70B - V1.0 模型在GSM8K基準測試中略微超過了一些閉源大語言模型,包括 ChatGPT 3.5、Claude Instant 1 和 PaLM 2 540B。
- 我們的 WizardMath - 70B - V1.0 模型在 [GSM8k基準測試](https://github.com/openai/grade - school - math) 中達到了 81.6 pass@1,比最優開源大語言模型高出 24.8 分;在 MATH基準測試 中達到了 22.7 pass@1,比最優開源大語言模型高出 9.2 分。
通用語言模型對比
- [2023/08/09] 我們發佈了 WizardLM - 70B - V1.0 模型。完整模型權重
模型 |
檢查點 |
論文 |
MT - Bench |
AlpacaEval |
GSM8k |
HumanEval |
許可證 |
WizardLM - 70B - V1.0 |
🤗 HF鏈接 |
📃 即將發佈 |
7.78 |
92.91% |
77.6% |
50.6 |
Llama 2許可證 |
WizardLM - 13B - V1.2 |
🤗 HF鏈接 |
|
7.06 |
89.17% |
55.3% |
36.6 |
Llama 2許可證 |
WizardLM - 13B - V1.1 |
🤗 HF鏈接 |
|
6.76 |
86.32% |
|
25.0 |
非商業用途 |
WizardLM - 30B - V1.0 |
🤗 HF鏈接 |
|
7.01 |
|
|
37.8 |
非商業用途 |
WizardLM - 13B - V1.0 |
🤗 HF鏈接 |
|
6.35 |
75.31% |
|
24.0 |
非商業用途 |
WizardLM - 7B - V1.0 |
🤗 HF鏈接 |
📃 WizardLM |
|
|
|
19.1 |
非商業用途 |
模型對比
🔥 下圖顯示,我們的 WizardCoder - Python - 34B - V1.0 在該基準測試中排名第二,超過了GPT4 (2023/03/15,73.2 vs. 67.0)、ChatGPT - 3.5 (73.2 vs. 72.5) 和Claude2 (73.2 vs. 71.2)。
📚 詳細文檔
提示格式
"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:"
推理演示腳本
我們在 這裡 提供了推理演示代碼。
📄 許可證
本項目使用Llama2許可證,具體請參考 Llama2許可證。
📚 引用
如果您使用了本倉庫中的數據、方法或代碼,請引用以下論文:
@article{luo2023wizardcoder,
title={WizardCoder: Empowering Code Large Language Models with Evol-Instruct},
author={Luo, Ziyang and Xu, Can and Zhao, Pu and Sun, Qingfeng and Geng, Xiubo and Hu, Wenxiang and Tao, Chongyang and Ma, Jing and Lin, Qingwei and Jiang, Daxin},
journal={arXiv preprint arXiv:2306.08568},
year={2023}
}