72B Qwen2.5 Kunou V1 GGUF

🚀 72B-Qwen2.5-Kunou-v1量化模型

本项目提供了72B-Qwen2.5-Kunou-v1模型的量化版本，使用特定工具和方法进行量化处理，方便不同硬件条件下的使用。通过选择合适的量化类型，用户可以在性能和质量之间取得平衡。

🚀 快速开始

运行环境

可以在 LM Studio 中运行这些量化模型。

提示格式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

✨ 主要特性

• 多种量化类型：提供了丰富的量化类型供用户选择，如Q8_0、Q6_K、Q5_K_M等，以满足不同的性能和质量需求。
• ARM优化：部分量化类型针对ARM芯片进行了优化，可显著提升运行速度。
• 在线重新打包：通过特定的PR努力，支持在线重新打包权重，方便在ARM设备上使用。

📦 安装指南

安装huggingface-cli

首先，确保你已经安装了huggingface-cli：

pip install -U "huggingface_hub[cli]"

下载单个文件

如果你想下载单个文件，可以使用以下命令：

huggingface-cli download bartowski/72B-Qwen2.5-Kunou-v1-GGUF --include "72B-Qwen2.5-Kunou-v1-Q4_K_M.gguf" --local-dir ./

下载拆分文件

如果模型大于50GB，它会被拆分成多个文件。要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/72B-Qwen2.5-Kunou-v1-GGUF --include "72B-Qwen2.5-Kunou-v1-Q8_0/*" --local-dir ./

你可以指定一个新的本地目录（如72B-Qwen2.5-Kunou-v1-Q8_0），也可以将它们全部下载到当前目录（./）。

💻 使用示例

基础用法

按照上述提示格式，在 LM Studio 中加载相应的量化模型文件，即可开始使用。

📚 详细文档

量化模型下载列表

嵌入/输出权重说明

部分量化类型（如Q3_K_XL、Q4_K_L等）采用标准量化方法，将嵌入和输出权重量化为Q8_0，而非默认值。

Q4_0_X_X信息

新特性：由于 此PR 中为在线重新打包权重所做的努力，如果你为ARM设备编译了llama.cpp，现在可以直接使用Q4_0。

同样，如果你想获得稍好的性能，可以使用IQ4_NL，这得益于 此PR，它也会为ARM重新打包权重，不过目前仅支持4_4。加载时间可能会较慢，但总体速度会提高。

这些量化类型不适用于Metal（苹果）或GPU（英伟达/AMD/英特尔）卸载，仅适用于ARM芯片（以及某些AVX2/AVX512 CPU）。

如果你使用的是ARM芯片，Q4_0_X_X量化类型将显著提升速度。查看 原始拉取请求 上的Q4_0_4_4速度比较。

要检查哪种量化类型最适合你的ARM芯片，可以查看 AArch64 SoC特性（感谢EloyOn！）。

如果你使用的是支持AVX2或AVX512的CPU（通常是服务器CPU和AMD最新的Zen5 CPU），并且不进行GPU卸载，Q4_0_8_8也可能提供不错的速度：

如何选择文件

一篇带有图表展示各种性能的优秀文章由Artefact2提供，点击查看

首先，你需要确定可以运行的模型大小。为此，你需要了解系统的RAM和/或VRAM容量。

如果你希望模型运行速度尽可能快，应选择文件大小比GPU总VRAM小1 - 2GB的量化类型，以确保整个模型能放入GPU的VRAM中。

如果你追求绝对最高质量，可以将系统RAM和GPU的VRAM相加，然后选择文件大小比该总和小1 - 2GB的量化类型。

接下来，你需要决定是使用'I-quant'还是'K-quant'。

如果你不想过多思考，选择K-quant即可。这些量化类型的格式为'QX_K_X'，如Q5_K_M。

如果你想深入了解，可以查看这个非常有用的特性图表：

llama.cpp特性矩阵

但基本上，如果你目标是Q4以下的量化类型，并且使用的是cuBLAS（英伟达）或rocBLAS（AMD），应该考虑I-quant。这些量化类型的格式为IQX_X，如IQ3_M。它们是较新的类型，在相同大小下性能更好。

这些I-quant也可以在CPU和苹果Metal上使用，但比相应的K-quant慢，因此你需要在速度和性能之间做出权衡。

I-quant与Vulcan不兼容，Vulcan也是AMD的技术，因此如果你使用的是AMD显卡，请仔细检查你使用的是rocBLAS版本还是Vulcan版本。在撰写本文时，LM Studio有一个支持ROCm的预览版，其他推理引擎也有针对ROCm的特定版本。

🔧 技术细节

本项目使用 llama.cpp 的 b4273版本 进行量化。原始模型可从 这里 获取。所有量化均使用imatrix选项和 此数据集 完成。

📄 许可证

本项目使用Qwen许可证，许可证链接：https://huggingface.co/Qwen/Qwen2.5-72B-Instruct/blob/main/LICENSE

致谢

感谢kalomaze和Dampf协助创建imatrix校准数据集。

感谢ZeroWw在嵌入/输出实验方面的启发。

如果你想支持我的工作，请访问我的ko-fi页面：https://ko-fi.com/bartowski