WizardCoder-Python-34B-V1.0オープンソースコードモデル - 無料で高品質なPythonコードを生成する

ホーム

Wizardcoder Python 34B V1.0

WizardLMTeamによって開発

WizardCoder-Python-34B-V1.0は、Evol-Instruct手法によって強化されたコード大規模言語モデルで、Pythonコード生成タスクに特化しています。

大規模言語モデル

Transformers

その他#コード生成 #高精度プログラミング #Python最適化

ダウンロード数 311

リリース時間 : 8/26/2023

モデル概要

このモデルはLlama 2アーキテクチャに基づくコード生成モデルで、Pythonプログラミング言語に特化して最適化されており、高品質なコードを理解し生成することができます。

モデル特徴

高性能コード生成

HumanEvalベンチマークで73.2 pass@1を達成し、GPT-4やClaude2などのモデルを凌駕しています。

Evol-Instruct強化

Evol-Instruct手法を用いて訓練されており、複雑なコードを理解し生成する能力が大幅に向上しています。

Python専用最適化

Pythonプログラミング言語に特化して最適化されており、高品質なPythonコードを生成できます。

モデル能力

Pythonコード生成

コード補完

コード理解

プログラミング問題解答

使用事例

ソフトウェア開発

自動コード生成

自然言語の記述に基づいてPythonコードスニペットを自動生成

HumanEvalベンチマークで73.2%の精度を達成

プログラミング教育支援

学生がPythonプログラミングを理解し学ぶのを支援

技術面接準備

プログラミング問題解答

一般的なプログラミング面接問題の解決策を生成

🚀 WizardCoder: Evol-Instructによるコード用大規模言語モデルの強化

このプロジェクトは、Evol-Instructを用いてコード生成能力を強化した大規模言語モデルであるWizardCoderについて提供しています。多様なモデルバージョンがあり、各種ベンチマークで高い性能を発揮しています。

🏠 ホームページ

🤗 HFリポジトリ •🐱 Githubリポジトリ • 🐦 Twitter

📃 [WizardLM] • 📃 [WizardCoder] • 📃 [WizardMath]

👋 Discordに参加しましょう

✨ 主な機能

ニュース

[2024/01/04] 🔥 WizardCoder-33B-V1.1 をリリースしました。これはdeepseek-coder-33b-baseから訓練されたモデルで、EvalPlus Leaderboard でSOTA OSS Code LLMとなり、HumanEvalで79.9 pass@1、HumanEval-Plusで73.2 pass@1、MBPPで78.9 pass@1、MBPP-Plusで66.9 pass@1を達成しました。
[2024/01/04] 🔥 WizardCoder-33B-V1.1 は、HumanEvalとHumanEval-Plusのpass@1でChatGPT 3.5、Gemini Pro、DeepSeek-Coder-33B-instructを上回っています。
[2024/01/04] 🔥 WizardCoder-33B-V1.1 は、MBPPとMBPP-Plusのpass@1でChatGPT 3.5に匹敵し、Gemini Proを上回っています。

モデル	チェックポイント	論文	HumanEval	HumanEval+	MBPP	MBPP+	ライセンス
GPT-4-Turbo (2023/11)	-	-	85.4	81.7	83.0	70.7	-
GPT-4 (2023/05)	-	-	88.4	76.8	-	-	-
GPT-3.5-Turbo (2023/11)	-	-	72.6	65.9	81.7	69.4	-
Gemini Pro	-	-	63.4	55.5	72.9	57.9	-
DeepSeek-Coder-33B-instruct	-	-	78.7	72.6	78.7	66.7	-
WizardCoder-33B-V1.1	🤗 HFリンク	📃 [WizardCoder]	79.9	73.2	78.9	66.9	MSFTResearch
WizardCoder-Python-34B-V1.0	🤗 HFリンク	📃 [WizardCoder]	73.2	64.6	73.2	59.9	Llama2
WizardCoder-15B-V1.0	🤗 HFリンク	📃 [WizardCoder]	59.8	52.4	--	--	OpenRAIL-M
WizardCoder-Python-13B-V1.0	🤗 HFリンク	📃 [WizardCoder]	64.0	--	--	--	Llama2
WizardCoder-Python-7B-V1.0	🤗 HFリンク	📃 [WizardCoder]	55.5	--	--	--	Llama2
WizardCoder-3B-V1.0	🤗 HFリンク	📃 [WizardCoder]	34.8	--	--	--	OpenRAIL-M
WizardCoder-1B-V1.0	🤗 HFリンク	📃 [WizardCoder]	23.8	--	--	--	OpenRAIL-M

当社のWizardMath-70B-V1.0モデルは、GSM8KでChatGPT 3.5、Claude Instant 1、PaLM 2 540Bなどの一部のクローズドソースLLMを僅かに上回っています。
WizardMath-70B-V1.0モデルは、GSM8k Benchmarks で81.6 pass@1を達成し、SOTAオープンソースLLMよりも24.8ポイント高く、MATH Benchmarks で22.7 pass@1を達成し、SOTAオープンソースLLMよりも9.2ポイント高くなっています。

モデル	チェックポイント	論文	GSM8k	MATH	オンラインデモ	ライセンス
WizardMath-70B-V1.0	🤗 HFリンク	📃 [WizardMath]	81.6	22.7	デモ	Llama 2
WizardMath-13B-V1.0	🤗 HFリンク	📃 [WizardMath]	63.9	14.0	デモ	Llama 2
WizardMath-7B-V1.0	🤗 HFリンク	📃 [WizardMath]	54.9	10.7	デモ	Llama 2

[2023/09/08] WizardLM-70B-V1.0モデルをリリースしました。全モデルウェイトはこちらです。

モデル	チェックポイント	論文	MT-Bench	AlpacaEval	GSM8k	HumanEval	ライセンス
WizardLM-70B-V1.0	🤗 HFリンク	📃近日公開	7.78	92.91%	77.6%	50.6	Llama 2 License
WizardLM-13B-V1.2	🤗 HFリンク		7.06	89.17%	55.3%	36.6	Llama 2 License
WizardLM-13B-V1.1	🤗 HFリンク		6.76	86.32%		25.0	非商用
WizardLM-30B-V1.0	🤗 HFリンク		7.01			37.8	非商用
WizardLM-13B-V1.0	🤗 HFリンク		6.35	75.31%		24.0	非商用
WizardLM-7B-V1.0	🤗 HFリンク	📃 [WizardLM]				19.1	非商用

WizardCoder-Python-34B-V1.0と他のLLMの比較

🔥 以下の図は、当社のWizardCoder-Python-34B-V1.0がこのベンチマークで2位にランクインしていることを示しており、GPT4 (2023/03/15, 73.2 vs. 67.0)、ChatGPT-3.5 (73.2 vs. 72.5)、Claude2 (73.2 vs. 71.2) を上回っています。

プロンプトフォーマット

"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:"

推論デモスクリプト

推論デモコードはこちらにあります。

引用

このリポジトリのデータ、方法、コードを使用する場合は、以下のように引用してください。

@article{luo2023wizardcoder,
  title={WizardCoder: Empowering Code Large Language Models with Evol-Instruct},
  author={Luo, Ziyang and Xu, Can and Zhao, Pu and Sun, Qingfeng and Geng, Xiubo and Hu, Wenxiang and Tao, Chongyang and Ma, Jing and Lin, Qingwei and Jiang, Daxin},
  journal={arXiv preprint arXiv:2306.08568},
  year={2023}
}