🚀 WizardCoder: Evol-Instructによるコード用大規模言語モデルの強化
このプロジェクトは、Evol-Instructを用いてコード生成能力を強化した大規模言語モデルであるWizardCoderについて提供しています。多様なモデルバージョンがあり、各種ベンチマークで高い性能を発揮しています。
🏠 ホームページ
🤗 HFリポジトリ •🐱 Githubリポジトリ • 🐦 Twitter
📃 [WizardLM] • 📃 [WizardCoder] • 📃 [WizardMath]
👋 Discordに参加しましょう
✨ 主な機能
ニュース
- [2024/01/04] 🔥 WizardCoder-33B-V1.1 をリリースしました。これはdeepseek-coder-33b-baseから訓練されたモデルで、EvalPlus Leaderboard でSOTA OSS Code LLMとなり、HumanEvalで79.9 pass@1、HumanEval-Plusで73.2 pass@1、MBPPで78.9 pass@1、MBPP-Plusで66.9 pass@1を達成しました。
- [2024/01/04] 🔥 WizardCoder-33B-V1.1 は、HumanEvalとHumanEval-Plusのpass@1でChatGPT 3.5、Gemini Pro、DeepSeek-Coder-33B-instructを上回っています。
- [2024/01/04] 🔥 WizardCoder-33B-V1.1 は、MBPPとMBPP-Plusのpass@1でChatGPT 3.5に匹敵し、Gemini Proを上回っています。
- 当社のWizardMath-70B-V1.0モデルは、GSM8KでChatGPT 3.5、Claude Instant 1、PaLM 2 540Bなどの一部のクローズドソースLLMを僅かに上回っています。
- WizardMath-70B-V1.0モデルは、GSM8k Benchmarks で81.6 pass@1を達成し、SOTAオープンソースLLMよりも24.8ポイント高く、MATH Benchmarks で22.7 pass@1を達成し、SOTAオープンソースLLMよりも9.2ポイント高くなっています。
- [2023/09/08] WizardLM-70B-V1.0モデルをリリースしました。全モデルウェイト はこちらです。
モデル |
チェックポイント |
論文 |
MT-Bench |
AlpacaEval |
GSM8k |
HumanEval |
ライセンス |
WizardLM-70B-V1.0 |
🤗 HFリンク |
📃近日公開 |
7.78 |
92.91% |
77.6% |
50.6 |
Llama 2 License |
WizardLM-13B-V1.2 |
🤗 HFリンク |
|
7.06 |
89.17% |
55.3% |
36.6 |
Llama 2 License |
WizardLM-13B-V1.1 |
🤗 HFリンク |
|
6.76 |
86.32% |
|
25.0 |
非商用 |
WizardLM-30B-V1.0 |
🤗 HFリンク |
|
7.01 |
|
|
37.8 |
非商用 |
WizardLM-13B-V1.0 |
🤗 HFリンク |
|
6.35 |
75.31% |
|
24.0 |
非商用 |
WizardLM-7B-V1.0 |
🤗 HFリンク |
📃 [WizardLM] |
|
|
|
19.1 |
非商用 |
WizardCoder-Python-34B-V1.0と他のLLMの比較
🔥 以下の図は、当社のWizardCoder-Python-34B-V1.0がこのベンチマークで2位にランクインしていることを示しており、GPT4 (2023/03/15, 73.2 vs. 67.0)、ChatGPT-3.5 (73.2 vs. 72.5)、Claude2 (73.2 vs. 71.2) を上回っています。
プロンプトフォーマット
"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:"
推論デモスクリプト
推論デモコードはこちらにあります。
引用
このリポジトリのデータ、方法、コードを使用する場合は、以下のように引用してください。
@article{luo2023wizardcoder,
title={WizardCoder: Empowering Code Large Language Models with Evol-Instruct},
author={Luo, Ziyang and Xu, Can and Zhao, Pu and Sun, Qingfeng and Geng, Xiubo and Hu, Wenxiang and Tao, Chongyang and Ma, Jing and Lin, Qingwei and Jiang, Daxin},
journal={arXiv preprint arXiv:2306.08568},
year={2023}
}
📄 ライセンス
このプロジェクトはLlama2ライセンスの下で提供されています。詳細はこちらを参照してください。