Wizardcoder Python 7B V1.0

🚀 WizardCoder與WizardLM系列模型項目

本項目主要圍繞WizardCoder、WizardMath和WizardLM等一系列模型展開，這些模型在代碼生成、數學推理、通用問答等多個領域展現出了卓越的性能，為自然語言處理和人工智能研究提供了強大的工具和參考。

項目說明

這是官方倉庫的副本，僅用於研究目的以復現結果。若存在版權問題，請聯繫我們。

項目鏈接

🤗 HF倉庫 •🐱 Github倉庫 • 🐦 Twitter • 📃 [WizardLM] • 📃 [WizardCoder] • 📃 [WizardMath]

👋 加入我們的 Discord

✨ 主要特性

模型信息

模型索引

• 名稱：WizardCoder-Python-34B-V1.0
• 結果：
  • 任務類型：文本生成
  • 數據集：openai_humaneval（HumanEval）
  • 指標：
    • 名稱：pass@1
    • 類型：pass@1
    • 值：0.555
    • 驗證狀態：未驗證

📚 詳細文檔

最新消息

• 🔥🔥🔥[2023/08/26] 我們發佈了 WizardCoder-Python-34B-V1.0，在 HumanEval基準測試 中達到了 73.2 pass@1，超越了 GPT4 (2023/03/15)、ChatGPT-3.5 和 Claude2。
• [2023/06/16] 我們發佈了 WizardCoder-15B-V1.0，在 HumanEval基準測試 中達到了 57.3 pass@1，超越了 Claude-Plus (+6.8)、Bard (+15.3) 和 InstructCodeT5+ (+22.3)。

❗注意：GPT4和ChatGPT - 3.5有兩個HumanEval結果。67.0和48.1是由 OpenAI 的官方GPT4報告（2023/03/15）公佈的。82.0和72.5是我們使用最新API（2023/08/26）測試得到的。

WizardCoder系列模型表現

WizardMath系列模型表現

• 我們的 WizardMath-70B-V1.0 模型在GSM8K基準測試中略微優於一些閉源大語言模型，包括 ChatGPT 3.5、Claude Instant 1 和 PaLM 2 540B。
• 我們的 WizardMath-70B-V1.0 模型在 GSM8k基準測試 中達到了 81.6 pass@1，比當前最優的開源大語言模型高出 24.8 分；在 MATH基準測試 中達到了 22.7 pass@1，比當前最優的開源大語言模型高出 9.2 分。

WizardLM系列模型表現

• [08/09/2023] 我們發佈了 WizardLM-70B-V1.0 模型。完整模型權重。

模型對比

🔥 下圖顯示，我們的 WizardCoder-Python-34B-V1.0在該基準測試中排名第二，超越了GPT4 (2023/03/15, 73.2 vs. 67.0)、ChatGPT - 3.5 (73.2 vs. 72.5) 和Claude2 (73.2 vs. 71.2)。

提示格式

"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:"

推理演示腳本

我們在 此處 提供了推理演示代碼。

📄 許可證

本項目使用llama2許可證。

🔗 引用信息

如果您使用了本倉庫中的數據、方法或代碼，請引用以下論文：

@article{luo2023wizardcoder,
  title={WizardCoder: Empowering Code Large Language Models with Evol-Instruct},
  author={Luo, Ziyang and Xu, Can and Zhao, Pu and Sun, Qingfeng and Geng, Xiubo and Hu, Wenxiang and Tao, Chongyang and Ma, Jing and Lin, Qingwei and Jiang, Daxin},
  journal={arXiv preprint arXiv:2306.08568},
  year={2023}
}