Mixtral 8x22B V0.1 GGUF

🚀 Mixtral - 8x22B - v0.1的Llamacpp量化版本

本项目使用 llama.cpp 的 b2636 版本进行量化。该项目提供了Mixtral - 8x22B - v0.1模型的量化版本，可帮助用户在不同硬件条件下更高效地运行模型。

🚀 快速开始

模型信息

• 原始模型：https://huggingface.co/mistral - community/Mixtral - 8x22B - v0.1
• 支持语言：法语、意大利语、德语、西班牙语、英语

提示格式

这是一个基础模型，没有特定的提示格式。

下载文件

此模型非常大，已拆分为多个部分进行上传。较新版本的llamacpp允许你仅加载第一部分，其余部分会自动加载。请确保下载所选量化类型的所有部分。

📚 详细文档

如何选择文件

Artefact2 在此处 https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9 提供了一份带有图表的详细分析，展示了各种量化类型的性能。

首先，你需要确定能够运行多大的模型。这需要你了解自己的系统内存（RAM）和/或显存（VRAM）大小。

• 追求最快速度：如果你希望模型尽可能快地运行，应将整个模型加载到GPU的显存中。选择文件大小比GPU总显存小1 - 2GB的量化版本。
• 追求最高质量：如果你追求绝对的最高质量，将系统内存和GPU显存相加，然后选择文件大小比该总和小1 - 2GB的量化版本。

接下来，你需要决定是使用“I - 量化”还是“K - 量化”。

• 不想过多考虑：选择K - 量化，格式为“QX_K_X”，如Q5_K_M。
• 想深入了解：你可以查看这个非常有用的特性图表：llama.cpp特性矩阵。一般来说，如果你目标是低于Q4的量化，并且使用cuBLAS（Nvidia）或rocBLAS（AMD），可以考虑I - 量化，格式为IQX_X，如IQ3_M。这些是较新的量化方法，在相同大小下性能更好。

I - 量化也可在CPU和Apple Metal上使用，但比相应的K - 量化慢，因此你需要在速度和性能之间进行权衡。另外，I - 量化与Vulcan（同样适用于AMD）不兼容，如果你使用AMD显卡，请仔细检查是使用rocBLAS版本还是Vulcan版本。在撰写本文时，LM Studio有支持ROCm的预览版，其他推理引擎也有针对ROCm的特定版本。

支持作者

如果你想支持作者的工作，可以访问作者的ko - fi页面：https://ko - fi.com/bartowski

📄 许可证

本项目采用Apache 2.0许可证。