WizardCoder - Python-13B-V1.0オープンソースコードモデル - 無料でデプロイし、効率的にコードを生成

ホーム

Wizardcoder Python 13B V1.0

WizardLMTeamによって開発

WizardCoderはEvol-Instruct手法で強化されたコード生成特化の大規模言語モデルです。

大規模言語モデル

Transformers

その他#コード生成 #Python最適化 #大規模言語モデル

ダウンロード数 681

リリース時間 : 8/26/2023

モデル概要

このモデルはLlama2アーキテクチャを基にした13Bパラメータのコード生成モデルで、Pythonプログラミング言語に特化して最適化されており、HumanEvalベンチマークで64.0 pass@1の優れた成績を達成しています。

モデル特徴

Evol-Instruct強化

Evol-Instruct手法を用いた命令最適化により、コード生成能力が大幅に向上

高性能コード生成

HumanEvalベンチマークで64.0 pass@1の優れた成績を達成

Python特化

Pythonプログラミング言語に特化した最適化トレーニング

モデル能力

Pythonコード生成

コード補完

プログラミング問題解決

使用事例

ソフトウェア開発

自動コード生成

自然言語の記述からPythonコードを生成

HumanEvalテストで64%の一回通過率を達成

プログラミング教育支援

学生がPythonコード例を理解・生成するのを支援

🚀 WizardCoder: エボリューション・インストラクションによるコード生成大規模言語モデルの強化

WizardCoderは、Evol-Instructを用いてコード生成能力を強化した大規模言語モデルです。このモデルは、コード生成タスクにおいて高い性能を発揮します。

🏠 ホームページ 🤗 HFリポジトリ
🐱 GitHubリポジトリ 🐦 Twitter 📃 [WizardLM]
📃 [WizardCoder]
📃 [WizardMath]
👋 Discordに参加しましょう

✨ 主要特性

モデル情報

属性	详情
モデルタイプ	WizardCoder
ライセンス	Llama2
評価指標	code_eval
ライブラリ名	transformers
タグ	code

モデル性能

WizardCoder系モデルのコード生成性能

モデル	チェックポイント	論文	HumanEval	HumanEval+	MBPP	MBPP+	ライセンス
GPT-4-Turbo (2023年11月)	-	-	85.4	81.7	83.0	70.7	-
GPT-4 (2023年5月)	-	-	88.4	76.8	-	-	-
GPT-3.5-Turbo (2023年11月)	-	-	72.6	65.9	81.7	69.4	-
Gemini Pro	-	-	63.4	55.5	72.9	57.9	-
DeepSeek-Coder-33B-instruct	-	-	78.7	72.6	78.7	66.7	-
WizardCoder-33B-V1.1	🤗 HFリンク	📃 [WizardCoder]	79.9	73.2	78.9	66.9	MSFTResearch
WizardCoder-Python-34B-V1.0	🤗 HFリンク	📃 [WizardCoder]	73.2	64.6	73.2	59.9	Llama2
WizardCoder-15B-V1.0	🤗 HFリンク	📃 [WizardCoder]	59.8	52.4	--	--	OpenRAIL-M
WizardCoder-Python-13B-V1.0	🤗 HFリンク	📃 [WizardCoder]	64.0	--	--	--	Llama2
WizardCoder-Python-7B-V1.0	🤗 HFリンク	📃 [WizardCoder]	55.5	--	--	--	Llama2
WizardCoder-3B-V1.0	🤗 HFリンク	📃 [WizardCoder]	34.8	--	--	--	OpenRAIL-M
WizardCoder-1B-V1.0	🤗 HFリンク	📃 [WizardCoder]	23.8	--	--	--	OpenRAIL-M

WizardMath系モデルの数学問題解決性能

モデル	チェックポイント	論文	GSM8k	MATH	オンラインデモ	ライセンス
WizardMath-70B-V1.0	🤗 HFリンク	📃 [WizardMath]	81.6	22.7	デモ	Llama 2
WizardMath-13B-V1.0	🤗 HFリンク	📃 [WizardMath]	63.9	14.0	デモ	Llama 2
WizardMath-7B-V1.0	🤗 HFリンク	📃 [WizardMath]	54.9	10.7	デモ	Llama 2

WizardLM系モデルの総合性能

モデル	チェックポイント	論文	MT-Bench	AlpacaEval	GSM8k	HumanEval	ライセンス
WizardLM-70B-V1.0	🤗 HFリンク	📃近日公開予定	7.78	92.91%	77.6%	50.6	Llama 2ライセンス
WizardLM-13B-V1.2	🤗 HFリンク		7.06	89.17%	55.3%	36.6	Llama 2ライセンス
WizardLM-13B-V1.1	🤗 HFリンク		6.76	86.32%		25.0	非商用
WizardLM-30B-V1.0	🤗 HFリンク		7.01			37.8	非商用
WizardLM-13B-V1.0	🤗 HFリンク		6.35	75.31%		24.0	非商用
WizardLM-7B-V1.0	🤗 HFリンク	📃 [WizardLM]				19.1	非商用

モデル比較

🔥 下の図は、WizardCoder-Python-34B-V1.0がこのベンチマークで2位にランクインしていることを示しています。GPT4 (2023/03/15, 73.2 vs. 67.0)、ChatGPT-3.5 (73.2 vs. 72.5)、Claude2 (73.2 vs. 71.2)を上回っています。

📚 詳細ドキュメント

プロンプトフォーマット

"以下はタスクを説明する指示です。要求を適切に完了する応答を書いてください。\n\n### 指示:\n{指示}\n\n### 応答:"

推論デモスクリプト

推論デモコードはこちらにあります。

⚠️ 重要提示

このスクリプトはWizardLM/WizardCoder-Python-34B/13B/7B-V1.0をサポートしています。WizardLM/WizardCoder-15B/3B/1B-V1.0で推論を行う場合は、スクリプト内のstop_tokens = ['</s>']をstop_tokens = ['<|endoftext|>']に変更してください。

📄 ライセンス

本リポジトリのデータ、手法、コードを使用する場合は、リポジトリを引用してください。

@article{luo2023wizardcoder,
  title={WizardCoder: Empowering Code Large Language Models with Evol-Instruct},
  author={Luo, Ziyang and Xu, Can and Zhao, Pu and Sun, Qingfeng and Geng, Xiubo and Hu, Wenxiang and Tao, Chongyang and Ma, Jing and Lin, Qingwei and Jiang, Daxin},
  journal={arXiv preprint arXiv:2306.08568},
  year={2023}
}