Wizardlm 13B V1.2

🚀 WizardLM-13B V1.2全量權重模型

這是WizardLM-13B V1.2模型的全量權重，該模型基於Llama-2 13b訓練而來。

項目鏈接

🤗 Hugging Face倉庫 •🐱 GitHub倉庫 • 🐦 Twitter • 📃 [WizardLM論文] • 📃 [WizardCoder論文] • 📃 [WizardMath論文]

👋 加入我們的 Discord社區

✨ 主要特性

模型發佈動態

• 🔥🔥🔥[2023/08/26] 發佈 WizardCoder-Python-34B-V1.0 ，在 HumanEval基準測試 中達到 73.2 pass@1 ，超越了 GPT4 (2023/03/15)、ChatGPT-3.5 和 Claude2 。更多詳情請參考 WizardCoder。
• [2023/06/16] 發佈 WizardCoder-15B-V1.0 ，在 HumanEval基準測試 中超越了 Claude-Plus (+6.8)、Bard (+15.3) 和 InstructCodeT5+ (+22.3) 。更多詳情請參考 WizardCoder。
• 🔥 [08/11/2023] 發佈 WizardMath 系列模型。
• 🔥 [2023/7/25] 發佈 WizardLM V1.2 系列模型，其中 WizardLM-13B-V1.2 已上線（Demo_13B-V1.2，Demo_13B-V1.2_bak-1，全量模型權重）。請查看 論文。

模型性能表現

• WizardCoder系列：在代碼生成任務上表現出色，不同版本在HumanEval和MBPP等基準測試中取得了優異成績。
• WizardMath系列：
  • WizardMath-70B-V1.0 模型在GSM8K基準測試中略優於一些閉源大語言模型，包括 ChatGPT 3.5、Claude Instant 1 和 PaLM 2 540B。
  • WizardMath-70B-V1.0 模型在 GSM8k基準測試 中達到 81.6 pass@1 ，比當前最優的開源大語言模型高 24.8 分。
  • WizardMath-70B-V1.0 模型在 MATH基準測試 中達到 22.7 pass@1 ，比當前最優的開源大語言模型高 9.2 分。
• WizardLM系列：
  • WizardLM-13B-V1.2 在 MT-Bench排行榜 中達到 7.06 ，在 AlpacaEval排行榜 中達到 89.17% ，在 WizardLM評估 中達到 101.4% 。

模型信息表格

WizardCoder系列

WizardMath系列

WizardLM系列

模型系統提示使用說明

⚠️ 重要提示

WizardLM 採用了 Vicuna 的提示格式，支持 多輪 對話。提示格式如下：

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: Hi ASSISTANT: Hello.</s>USER: Who are you? ASSISTANT: I am WizardLM.</s>......

推理演示腳本說明

我們在 此處 提供了WizardLM的推理演示代碼。

數據集相關說明

⚠️ 重要提示

近期，我們整個組織的代碼、數據和模型的開源政策和規定發生了明顯變化。儘管如此，我們仍努力先開放了模型的權重，但數據涉及更嚴格的審核，目前正在與我們的法律團隊進行審核。我們的研究人員無權擅自公開發布這些數據。感謝您的理解。

引用說明

如果您使用了WizardLM的數據或代碼，請引用以下論文：

@article{xu2023wizardlm,
  title={Wizardlm: Empowering large language models to follow complex instructions},
  author={Xu, Can and Sun, Qingfeng and Zheng, Kai and Geng, Xiubo and Zhao, Pu and Feng, Jiazhan and Tao, Chongyang and Jiang, Daxin},
  journal={arXiv preprint arXiv:2304.12244},
  year={2023}
}

倉庫和Twitter鏈接

• 倉庫地址：https://github.com/nlpxucan/WizardLM
• Twitter：WizardLM_AI

📄 許可證

本項目採用 Llama 2許可證。