Wizardcoder 33B V1.1

🚀 WizardCoder：通過Evol - Instruct賦能代碼大語言模型

WizardCoder是一款專注於代碼生成的大語言模型，藉助Evol - Instruct技術提升性能。它在多個代碼評估數據集上表現出色，為代碼生成領域帶來了新的解決方案。

關鍵信息

項目鏈接

• 🏠 主頁
• 🤗 Hugging Face倉庫
• 🐱 GitHub倉庫
• 🐦 Twitter
• 📃 WizardLM論文
• 📃 WizardCoder論文
• 📃 WizardMath論文
• 👋 加入Discord

📢 最新消息

• [2024/01/04] 🔥 我們發佈了基於deepseek - coder - 33b - base訓練的WizardCoder - 33B - V1.1，它是EvalPlus排行榜上的最優開源代碼大語言模型，在HumanEval上的pass@1達到0.799，在HumanEval - Plus上為0.732，在MBPP上為0.789，在MBPP - Plus上為0.669。
• [2024/01/04] 🔥 WizardCoder - 33B - V1.1在HumanEval和HumanEval - Plus的pass@1指標上超過了ChatGPT 3.5、Gemini Pro和DeepSeek - Coder - 33B - instruct。
• [2024/01/04] 🔥 WizardCoder - 33B - V1.1在MBPP和MBPP - Plus的pass@1指標上與ChatGPT 3.5相當，超過了Gemini Pro。

模型性能對比

📦 訓練數據製作

對Code - Alpaca數據應用我們的Code Evol - Instruct。

❗ 數據汙染檢查

在模型訓練前，我們仔細嚴格地檢查了所有訓練數據，並使用多種去重方法來驗證和防止在HumanEval和MBPP測試集上的數據洩露。

⚠️ 重要提示

請嚴格使用與我們相同的系統提示，我們不保證量化版本的準確性。

默認版本：

"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:"

💻 復現WizardCoder - 33B - V1.1的性能

依賴環境

transformers==4.36.2
vllm==0.2.5

代碼和結果

• 我們在這裡提供了所有代碼。
• 我們也在這裡提供了所有生成的結果。

（1）HumanEval和HumanEval - Plus

步驟1：代碼生成（無加速）

model="WizardLM/WizardCoder-33B-V1.1"
temp=0.0
max_len=2048
pred_num=1
num_seqs_per_iter=1

output_path=preds/T${temp}_N${pred_num}_WizardCoder-33B-V1.1_Greedy_Decode

mkdir -p ${output_path}
echo 'Output path: '$output_path
echo 'Model to eval: '$model

# 164 problems, 21 per GPU if GPU=8
index=0
gpu_num=8
for ((i = 0; i < $gpu_num; i++)); do
  start_index=$((i * 21))
  end_index=$(((i + 1) * 21))

  gpu=$((i))
  echo 'Running process #' ${i} 'from' $start_index 'to' $end_index 'on GPU' ${gpu}
  ((index++))
  (
    CUDA_VISIBLE_DEVICES=$gpu python humaneval_gen.py --model ${model} \
      --start_index ${start_index} --end_index ${end_index} --temperature ${temp} \
      --num_seqs_per_iter ${num_seqs_per_iter} --N ${pred_num} --max_len ${max_len} --output_path ${output_path} --greedy_decode
  ) &
  if (($index % $gpu_num == 0)); then wait; fi
done

步驟1：代碼生成（使用vllm加速）

model="WizardLM/WizardCoder-33B-V1.1"
temp=0.0
max_len=2048
pred_num=1
num_seqs_per_iter=1

output_path=preds/T${temp}_N${pred_num}_WizardCoder-33B-V1.1_Greedy_Decode_vllm

mkdir -p ${output_path}
echo 'Output path: '$output_path
echo 'Model to eval: '$model

CUDA_VISIBLE_DEVICES=0,1,2,3 python humaneval_gen_vllm.py --model ${model} \
    --start_index 0 --end_index 164 --temperature ${temp} \
    --num_seqs_per_iter ${num_seqs_per_iter} --N ${pred_num} --max_len ${max_len} --output_path ${output_path} --num_gpus 4 --overwrite

步驟2：獲取分數

安裝Eval - Plus基準測試：

git clone https://github.com/evalplus/evalplus.git
cd evalplus
export PYTHONPATH=$PYTHONPATH:$(pwd)
pip install -r requirements.txt

獲取HumanEval和HumanEval - Plus分數：

output_path=preds/T0.0_N1_WizardCoder-33B-V1.1_Greedy_Decode

echo 'Output path: '$output_path
python process_humaneval.py --path ${output_path} --out_path ${output_path}.jsonl --add_prompt

evalplus.evaluate --dataset humaneval --samples ${output_path}.jsonl

（2）MBPP和MBPP - Plus

預處理後的問題在mbppplus.json中提供。

步驟1：代碼生成（無加速）

model="WizardLM/WizardCoder-33B-V1.1"
temp=0.0
max_len=2048
pred_num=1
num_seqs_per_iter=1

output_path=preds/MBPP_T${temp}_N${pred_num}_WizardCoder-33B-V1.1_Greedy_Decode

mkdir -p ${output_path}
echo 'Output path: '$output_path
echo 'Model to eval: '$model

# 399 problems, 50 per GPU if GPU=8
index=0
gpu_num=8
for ((i = 0; i < $gpu_num; i++)); do
  start_index=$((i * 50))
  end_index=$(((i + 1) * 50))

  gpu=$((i))
  echo 'Running process #' ${i} 'from' $start_index 'to' $end_index 'on GPU' ${gpu}
  ((index++))
  (
    CUDA_VISIBLE_DEVICES=$gpu python mbppplus_gen.py --model ${model} \
      --start_index ${start_index} --end_index ${end_index} --temperature ${temp} \
      --num_seqs_per_iter ${num_seqs_per_iter} --N ${pred_num} --max_len ${max_len} --output_path ${output_path} --mbpp_path "mbppplus.json" --greedy_decode
  ) &
  if (($index % $gpu_num == 0)); then wait; fi
done

步驟1：代碼生成（使用vllm加速）

model="WizardLM/WizardCoder-33B-V1.1"
temp=0.0
max_len=2048
pred_num=1
num_seqs_per_iter=1

output_path=preds/MBPP_T${temp}_N${pred_num}_WizardCoder-33B-V1.1_Greedy_Decode_vllm

mkdir -p ${output_path}
echo 'Output path: '$output_path
echo 'Model to eval: '$model

CUDA_VISIBLE_DEVICES=0,1,2,3 python mbppplus_gen_vllm.py --model ${model} \
    --start_index ${start_index} --end_index ${end_index} --temperature ${temp} \
    --num_seqs_per_iter ${num_seqs_per_iter} --N ${pred_num} --max_len ${max_len} --output_path ${output_path} --mbpp_path "mbppplus.json" --num_gpus 4

步驟2：獲取分數

安裝Eval - Plus基準測試：

git clone https://github.com/evalplus/evalplus.git
cd evalplus
export PYTHONPATH=$PYTHONPATH:$(pwd)
pip install -r requirements.txt

獲取MBPP和MBPP - Plus分數：

output_path=preds/MBPP_T0.0_N1_WizardCoder-33B-V1.1_Greedy_Decode

echo 'Output path: '$output_path
python mbppplus_process_preds.py --path ${output_path} --out_path ${output_path}.jsonl --add_prompt

evalplus.evaluate --dataset mbpp --samples ${output_path}.jsonl

📄 引用

如果您使用了本倉庫中的數據、方法或代碼，請引用該倉庫：

@article{luo2023wizardcoder,
  title={WizardCoder: Empowering Code Large Language Models with Evol-Instruct},
  author={Luo, Ziyang and Xu, Can and Zhao, Pu and Sun, Qingfeng and Geng, Xiubo and Hu, Wenxiang and Tao, Chongyang and Ma, Jing and Lin, Qingwei and Jiang, Daxin},
  journal={arXiv preprint arXiv:2306.08568},
  year={2023}
}