🚀 WizardLM:賦能大預訓練語言模型遵循複雜指令
WizardLM致力於讓大預訓練語言模型能夠更好地遵循複雜指令,為用戶提供更精準、高效的服務,具有廣泛的應用價值。
🔗 相關鏈接
🎥 非官方視頻介紹
感謝熱心朋友製作的視頻介紹,它們生動有趣。
- NEW WizardLM 70b 🔥 Giant Model...Insane Performance
- GET WizardLM NOW! 7B LLM KING That Can Beat ChatGPT! I'm IMPRESSED!
- WizardLM: Enhancing Large Language Models to Follow Complex Instructions
- WizardCoder AI Is The NEW ChatGPT's Coding TWIN!
📢 新聞動態
- 🔥🔥🔥 [2023/08/26] 我們發佈了 WizardCoder-Python-34B-V1.0,在HumanEval基準測試中達到了 73.2 pass@1,超越了 GPT4 (2023/03/15)、ChatGPT-3.5 和 Claude2。更多詳情請參考 WizardCoder。
- [2023/06/16] 我們發佈了 WizardCoder-15B-V1.0,在HumanEval基準測試中超越了 Claude-Plus (+6.8)、Bard (+15.3) 和 InstructCodeT5+ (+22.3)。更多詳情請參考 WizardCoder。
- 🔥 [08/11/2023] 我們發佈了 WizardMath 模型。
- 🔥 我們的 WizardMath-70B-V1.0 模型在GSM8K基準測試中略優於一些閉源大語言模型,包括 ChatGPT 3.5、Claude Instant 1 和 PaLM 2 540B。
- 🔥 我們的 WizardMath-70B-V1.0 模型在GSM8k基準測試中達到了 81.6 pass@1,比當前最優的開源大語言模型高出 24.8 分。
- 🔥 我們的 WizardMath-70B-V1.0 模型在MATH基準測試中達到了 22.7 pass@1,比當前最優的開源大語言模型高出 9.2 分。
- 🔥🔥🔥 [08/09/2023] 我們發佈了 WizardLM-70B-V1.0 模型。
📊 模型信息表格
WizardCoder系列模型
WizardMath系列模型
WizardLM系列模型
模型 |
檢查點 |
論文 |
MT - Bench |
AlpacaEval |
GSM8k |
HumanEval |
許可證 |
WizardLM - 70B - V1.0 |
🤗 HF鏈接 |
📃 即將發佈 |
7.78 |
92.91% |
77.6% |
50.6 pass@1 |
Llama 2許可證 |
WizardLM - 13B - V1.2 |
🤗 HF鏈接 |
|
7.06 |
89.17% |
55.3% |
36.6 pass@1 |
Llama 2許可證 |
WizardLM - 13B - V1.1 |
🤗 HF鏈接 |
|
6.76 |
86.32% |
|
25.0 pass@1 |
非商業用途 |
WizardLM - 30B - V1.0 |
🤗 HF鏈接 |
|
7.01 |
|
|
37.8 pass@1 |
非商業用途 |
WizardLM - 13B - V1.0 |
🤗 HF鏈接 |
|
6.35 |
75.31% |
|
24.0 pass@1 |
非商業用途 |
WizardLM - 7B - V1.0 |
🤗 HF鏈接 |
📃 WizardLM |
|
|
|
19.1 pass@1 |
非商業用途 |
⚠️ 模型系統提示使用說明
WizardLM 採用了 Vicuna 的提示格式,支持 多輪 對話。提示格式如下:
A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: Hi ASSISTANT: Hello.</s>USER: Who are you? ASSISTANT: I am WizardLM.</s>......
💻 推理WizardLM演示腳本
我們在這裡提供了推理WizardLM的演示代碼。
📚 引用說明
如果您使用了WizardLM的數據或代碼,請引用以下論文:
@article{xu2023wizardlm,
title={Wizardlm: Empowering large language models to follow complex instructions},
author={Xu, Can and Sun, Qingfeng and Zheng, Kai and Geng, Xiubo and Zhao, Pu and Feng, Jiazhan and Tao, Chongyang and Jiang, Daxin},
journal={arXiv preprint arXiv:2304.12244},
year={2023}
}
⚠️ 關於數據集的常見問題說明
近期,我們整個組織的代碼、數據和模型的開源政策和規定發生了明顯變化。儘管如此,我們仍努力先開放了模型權重,但數據涉及更嚴格的審核,正在與我們的法律團隊進行審核。我們的研究人員無權擅自公開發布。感謝您的理解。