🚀 WizardLM-13B V1.2全量權重模型
這是WizardLM-13B V1.2模型的全量權重,該模型基於Llama-2 13b訓練而來。
項目鏈接
🤗 Hugging Face倉庫 •🐱 GitHub倉庫 • 🐦 Twitter • 📃 [WizardLM論文] • 📃 [WizardCoder論文] • 📃 [WizardMath論文]
👋 加入我們的 Discord社區
✨ 主要特性
模型發佈動態
模型性能表現
- WizardCoder系列:在代碼生成任務上表現出色,不同版本在HumanEval和MBPP等基準測試中取得了優異成績。
- WizardMath系列:
- WizardMath-70B-V1.0 模型在GSM8K基準測試中略優於一些閉源大語言模型,包括 ChatGPT 3.5、Claude Instant 1 和 PaLM 2 540B。
- WizardMath-70B-V1.0 模型在 GSM8k基準測試 中達到 81.6 pass@1 ,比當前最優的開源大語言模型高 24.8 分。
- WizardMath-70B-V1.0 模型在 MATH基準測試 中達到 22.7 pass@1 ,比當前最優的開源大語言模型高 9.2 分。
- WizardLM系列:
模型信息表格
WizardCoder系列
WizardMath系列
WizardLM系列
模型 |
檢查點 |
論文 |
MT-Bench |
AlpacaEval |
WizardEval |
HumanEval |
許可證 |
WizardLM-13B-V1.2 |
🤗 HF鏈接 |
|
7.06 |
89.17% |
101.4% |
36.6 pass@1 |
Llama 2許可證 |
WizardLM-13B-V1.1 |
🤗 HF鏈接 |
|
6.76 |
86.32% |
99.3% |
25.0 pass@1 |
非商業用途 |
WizardLM-30B-V1.0 |
🤗 HF鏈接 |
|
7.01 |
|
97.8% |
37.8 pass@1 |
非商業用途 |
WizardLM-13B-V1.0 |
🤗 HF鏈接 |
|
6.35 |
75.31% |
89.1% |
24.0 pass@1 |
非商業用途 |
WizardLM-7B-V1.0 |
🤗 HF鏈接 |
📃 [WizardLM] |
|
|
78.0% |
19.1 pass@1 |
非商業用途 |
模型系統提示使用說明
⚠️ 重要提示
WizardLM 採用了 Vicuna 的提示格式,支持 多輪 對話。提示格式如下:
A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: Hi ASSISTANT: Hello.</s>USER: Who are you? ASSISTANT: I am WizardLM.</s>......
推理演示腳本說明
我們在 此處 提供了WizardLM的推理演示代碼。
數據集相關說明
⚠️ 重要提示
近期,我們整個組織的代碼、數據和模型的開源政策和規定發生了明顯變化。儘管如此,我們仍努力先開放了模型的權重,但數據涉及更嚴格的審核,目前正在與我們的法律團隊進行審核。我們的研究人員無權擅自公開發布這些數據。感謝您的理解。
引用說明
如果您使用了WizardLM的數據或代碼,請引用以下論文:
@article{xu2023wizardlm,
title={Wizardlm: Empowering large language models to follow complex instructions},
author={Xu, Can and Sun, Qingfeng and Zheng, Kai and Geng, Xiubo and Zhao, Pu and Feng, Jiazhan and Tao, Chongyang and Jiang, Daxin},
journal={arXiv preprint arXiv:2304.12244},
year={2023}
}
倉庫和Twitter鏈接
- 倉庫地址:https://github.com/nlpxucan/WizardLM
- Twitter:WizardLM_AI
📄 許可證
本項目採用 Llama 2許可證。