Gpt4 X Vicuna 13B GPTQ

🚀 gpt4-x-vicuna-13B-GPTQ

本项目包含 NousResearch的gpt4-x-vicuna-13b 模型的4位GPTQ格式量化模型。它是使用 GPTQ-for-LLaMa 量化为4位的结果。

🚀 快速开始

在文本生成Web界面中轻松下载和使用此模型的方法

按照常规方式打开文本生成Web界面。

1. 点击模型标签。
2. 在下载自定义模型或LoRA下方，输入 TheBloke/gpt4-x-vicuna-13B-GPTQ。
3. 点击下载。
4. 等待直至显示下载完成。
5. 点击左上角模型旁边的刷新图标。
6. 在模型下拉菜单中：选择刚刚下载的模型 gpt4-x-vicuna-13B-GPTQ。
7. 如果右下角出现错误提示，可忽略 - 这是临时的。
8. 在右侧填写 GPTQ参数：位数 = 4，分组大小 = 128，模型类型 = Llama。
9. 点击右上角的保存此模型的设置。
10. 点击右上角的重新加载模型。
11. 当显示模型已加载后，点击文本生成标签并输入提示信息！

✨ 主要特性

可用的仓库

• 用于GPU推理的4位GPTQ模型。
• 用于CPU推理的4位和5位GGML模型。
• 用于未量化和8位GPU推理的float16 HF模型。

📚 详细文档

提供的文件

兼容文件 - GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors

在 main 分支（默认分支）中，您会找到 GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors。

该文件适用于所有版本的GPTQ-for-LLaMa，具有最大兼容性。它是在不使用 --act-order 参数的情况下创建的。与另一个文件相比，其推理质量可能略低，但保证能在所有版本的GPTQ-for-LLaMa和文本生成Web界面中使用。

• GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors
  • 适用于所有版本的GPTQ-for-LLaMa代码，包括Triton和CUDA分支。
  • 适用于文本生成Web界面的一键安装程序。
  • 参数：分组大小 = 128g。无激活顺序。
  • 创建GPTQ时使用的命令：

CUDA_VISIBLE_DEVICES=0 python3 llama.py GPT4All-13B-snoozy c4 --wbits 4 --true-sequential --groupsize 128 --save_safetensors GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors

原始模型卡片

• 基础模型使用：https://huggingface.co/eachadea/vicuna-13b-1.1
• 在Teknium的GPTeacher数据集、未发布的角色扮演v2数据集、GPT-4-LLM数据集和Nous Research指令数据集上进行微调。
• 约180k条指令，均来自GPT-4，且已清除所有OpenAI审查内容（如 “作为一个AI语言模型” 等）。
• 基础模型仍存在OpenAI审查。不久后，将发布使用来自 https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltere 的清理后的Vicuna模型的新版本。
• 在8个A100 - 80GB GPU上按照Alpaca深度加速训练代码进行了5个周期的训练。
• Nous Research指令数据集即将发布。
• GPTeacher、角色扮演v2由 https://huggingface.co/teknium 提供。
• Wizard LM由 https://github.com/nlpxucan 提供。
• Nous Research指令数据集由 https://huggingface.co/karan4d 和 https://huggingface.co/huemin 提供。
• 计算资源由我们的项目赞助商 https://redmond.ai/ 提供。

📄 许可证

本项目使用其他许可证。

Discord

如需进一步支持，以及参与有关这些模型和人工智能的讨论，请加入： TheBloke AI的Discord服务器

感谢与贡献方式

感谢 chirper.ai 团队！

很多人询问是否可以进行贡献。我喜欢提供模型并帮助他人，也希望能有更多时间做这些事情，同时拓展到新的项目，如微调/训练。

如果您有能力且愿意贡献，我将不胜感激，这将有助于我继续提供更多模型，并开展新的人工智能项目。

捐赠者将在所有AI/大语言模型/模型相关的问题和请求上获得优先支持，访问私人Discord频道，以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢：Aemon Algiz。

Patreon特别提及：Sam, theTransient, Jonathan Leane, Steven Wood, webtim, Johann - Peter Hartmann, Geoffrey Montalvo, Gabriel Tamborski, Willem Michiel, John Villwock, Derek Yates, Mesiah Bishop, Eugene Pentland, Pieter, Chadd, Stephen Murray, Daniel P. Andersen, terasurfer, Brandon Frisco, Thomas Belote, Sid, Nathan LeClaire, Magnesian, Alps Aficionado, Stanislav Ovsiannikov, Alex, Joseph William Delisle, Nikolai Manek, Michael Davis, Junyu Yang, K, J, Spencer Kim, Stefan Sabev, Olusegun Samson, transmissions 11, Michael Levine, Cory Kujawski, Rainer Wilmers, zynix, Kalila, Luke @flexchar, Ajan Kanaga, Mandus, vamX, Ai Maven, Mano Prime, Matthew Berman, subjectnull, Vitor Caleffi, Clay Pascal, biorpg, alfie_i, 阿明, Jeffrey Morgan, ya boyyy, Raymond Fosdick, knownsqashed, Olakabola, Leonard Tan, ReadyPlayerEmma, Enrico Ros, Dave, Talal Aujan, Illia Dulskyi, Sean Connelly, senxiiz, Artur Olbinski, Elle, Raven Klaugh, Fen Risland, Deep Realms, Imad Khwaja, Fred von Graf, Will Dee, usrbinkat, SuperWojo, Alexandros Triantafyllidis, Swaroop Kallakuri, Dan Guido, John Detwiler, Pedro Madruga, Iucharbius, Viktor Bowallius, Asp the Wyvern, Edmond Seymore, Trenton Dambrowitz, Space Cruiser, Spiking Neurons AB, Pyrater, LangChain4j, Tony Hughes, Kacper Wikieł, Rishabh Srivastava, David Ziegler, Luke Pendergrass, Andrey, Gabriel Puliatti, Lone Striker, Sebastain Graf, Pierre Kircher, Randy H, NimbleBox.ai, Vadim, danny, Deo Leter

感谢所有慷慨的赞助者和捐赠者！再次感谢a16z的慷慨资助。