Wizardcoder 15B V1.0

WizardCoderの開発

WizardCoderモデルを開発するために、まず進化的インストラクション（Evol - Instruct）手法をコーディングタスクに特化させました。これには、コード関連のインストラクションに適したプロンプトを作成することが含まれます。その後、新しく作成されたインストラクションに従うトレーニングセットを使用して、コードLLMであるStarCoderをファインチューニングしました。

ニュース

• 🔥 WizardCoder - 15B - v1.0 モデルは、[HumanEvalベンチマーク](https://github.com/openai/human - eval) で57.3 pass@1を達成しており、オープンソースコードLLMのSOTAよりも22.3ポイント高いです。
• 🔥 78kの進化したコードインストラクションで学習されたWizardCoder - 15B - v1.0をリリースしました。モデルの重み と論文をご確認ください。
• 📣 新しいリリースは、Twitterアカウントhttps://twitter.com/WizardLM_AI とHuggingFaceリポジトリhttps://huggingface.co/WizardLM で最初に発表されます。

クローズドソースモデルとの比較

🔥 次の図は、WizardCoderがこのベンチマークで3位に入っていることを示しています。Claude - Plus（59.8 vs. 53.0）とBard（59.8 vs. 44.5）を上回っています。特に、これらのモデルと比較して、WizardCoderのサイズは大幅に小さいです。

❗注意: この研究では、HumanEvalとHumanEval+のスコアを[LLM - Humaneval - Benchmarks](https://github.com/my - other - github - account/llm - humaneval - benchmarks) からコピーしています。すべてのモデルは、各問題に対して1回の試行でコードソリューションを生成し、パス率のパーセンテージが報告されます。WizardCoderは、貪欲デコーディングを使用して回答を生成し、同じコード でテストされます。

オープンソースモデルとの比較

次の表は、WizardCoderがすべてのオープンソースモデルに対して大幅なパフォーマンスの優位性を示していることを明確に示しています。❗モデルの異なるスコア（57.3と59.8）について混乱している場合は、注意事項を確認してください。

❗注意: StarCoderのMBPPでの再現結果。

❗注意: 上の表は、HumanEvalとMBPPベンチマークで、WizardCoderと他のモデルを包括的に比較しています。以前の研究で示されたアプローチに従い、各問題に対して20個のサンプルを生成してpass@1スコアを推定し、同じ[コード](https://github.com/openai/human - eval/tree/master) で評価しています。[OpenAI](https://openai.com/research/gpt - 4) によって報告されたGPT4とGPT3.5のスコアは、それぞれ67.0と48.1（これらはおそらく初期バージョンのGPT4&3.5）です。

フィードバックの募集

皆さんからの専門的で難しいインストラクションを使用してWizardCoderを評価していただき、issueディスカッション エリアでパフォーマンスが低い例やご提案を共有していただけることを歓迎します。現在は進化的インストラクションの改善に注力しており、次のバージョンのWizardCoderで既存の弱点や問題を解消することを目指しています。その後、最新の進化的インストラクションアルゴリズムのコードとパイプラインを公開し、皆さんと一緒に改善していきます。

📚 ドキュメント

目次

1. オンラインデモ
2. ファインチューニング
3. 推論
4. 評価
5. 引用
6. 免責事項

オンラインデモ

できる限り最新のモデルを試すことができるように提供します。リンクが機能しない場合は、別のリンクを試してみてください。同時に、仕事や生活で遭遇するであろうできる限り多くの実世界の、挑戦的なコード関連の問題を試してみてください。皆さんからのフィードバックを元に、モデルを継続的に進化させていきます。

ファインチューニング

WizardCoderは、[Llama - X](https://github.com/AetherCortex/Llama - X) の修正されたコードtrain.pyを使用してファインチューニングされます。StarCoder - 15Bを次のハイパーパラメータでファインチューニングします。

WizardCoderのファインチューニングを再現するには、次の手順に従ってください。

1. [Llama - X](https://github.com/AetherCortex/Llama - X) の指示に従って、環境をインストールし、学習コードをダウンロードし、デプロイします。（注意: deepspeed==0.9.2 と transformers==4.29.2）
2. リポジトリ内のtrain_wizardcoder.py（src/train_wizardcoder.py）でtrain.pyを置き換えます。
3. Huggingfaceにログインします。

huggingface-cli login

4. 次の学習コマンドを実行します。

deepspeed train_wizardcoder.py \
    --model_name_or_path "bigcode/starcoder" \
    --data_path "/your/path/to/code_instruction_data.json" \
    --output_dir "/your/path/to/ckpt" \
    --num_train_epochs 3 \
    --model_max_length 2048 \
    --per_device_train_batch_size 16 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 4 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 50 \
    --save_total_limit 2 \
    --learning_rate 2e-5 \
    --warmup_steps 30 \
    --logging_steps 2 \
    --lr_scheduler_type "cosine" \
    --report_to "tensorboard" \
    --gradient_checkpointing True \
    --deepspeed configs/deepspeed_config.json \
    --fp16 True

推論

WizardCoderのデコードスクリプトを提供しています。

📄 ライセンス

このモデルは、bigscience - openrail - mライセンスの下で提供されています。