Wizardmath 7B V1.1

🚀 WizardMath：通過強化進化指令（RLEIF）賦能大語言模型的數學推理能力

WizardMath是一個專注於提升大語言模型數學推理能力的項目。通過強化進化指令（RLEIF）方法，該項目訓練出的模型在數學問題解決上表現出色，為大語言模型在數學領域的應用提供了強大支持。

🔗 項目鏈接

• 🏠 主頁
• 🤗 Hugging Face倉庫
• 🐱 GitHub倉庫
• 🐦 Twitter
• 👋 加入Discord

📢 最新消息

• [2023年12月19日] 🔥 我們發佈了基於Mistral - 7B訓練的 WizardMath - 7B - V1.1，這是目前 最優的7B數學大語言模型，在GSM8k上達到了 83.2 pass@1，在MATH上達到了 33.0 pass@1。可以使用這個 [演示] 與它進行對話。
• [2023年12月19日] 🔥 WizardMath - 7B - V1.1 在GSM8K pass@1上超越了 ChatGPT 3.5、Gemini Pro、Mixtral MOE 和 Claude Instant。
• [2023年12月19日] 🔥 WizardMath - 7B - V1.1 在MATH pass@1上與 ChatGPT 3.5、Gemini Pro 相當，並且超越了 Mixtral MOE。

🌟 模型性能對比表

[2023年12月19日] WizardMath - 7B - V1.1與其他開源7B規模數學大語言模型對比

[2023年12月19日] WizardMath - 7B - V1.1與大型開源（30B ~ 70B）大語言模型對比

⚠️ 數據汙染檢查

在模型訓練前，我們對所有訓練數據進行了仔細而嚴格的檢查，並使用多種去重方法來驗證和防止GSM8k和MATH測試集的數據洩露。

⚠️ 模型系統提示使用說明

請嚴格使用與我們 相同的系統提示，我們不保證 量化版本 的準確性。

默認版本

"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:"

CoT版本（❗對於 簡單 的數學問題，我們不建議使用CoT提示）

"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response: Let's think step by step."

💻 WizardMath推理演示腳本

我們在 這裡 提供了WizardMath推理演示代碼。

📚 引用

如果您使用了本倉庫中的數據、方法或代碼，請引用本倉庫。

@article{luo2023wizardmath,
  title={WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct},
  author={Luo, Haipeng and Sun, Qingfeng and Xu, Can and Zhao, Pu and Lou, Jianguang and Tao, Chongyang and Geng, Xiubo and Lin, Qingwei and Chen, Shifeng and Zhang, Dongmei},
  journal={arXiv preprint arXiv:2308.09583},
  year={2023}
}