🚀 Qwen2.5-VL-7B-Instruct的Llamacpp imatrix量化版本
本项目是对Qwen2.5-VL-7B-Instruct模型进行量化处理后的成果。通过特定的量化方式,生成了不同类型的量化文件,以满足不同硬件和性能需求。用户可以根据自身的硬件条件和使用场景,选择合适的量化文件进行下载和使用。
🚀 快速开始
本项目使用 llama.cpp 发布版本 b5317 进行量化。原始模型可访问:https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct 。
所有量化文件均使用 imatrix 选项,并采用来自 此处 的数据集生成。你可以在 LM Studio 中运行这些量化文件,也可以直接使用 llama.cpp 或任何基于 llama.cpp 的项目来运行。
✨ 主要特性
- 多种量化类型:提供了丰富的量化类型,如 bf16、Q8_0、Q6_K_L 等,满足不同的性能和质量需求。
- 在线重打包:部分量化文件支持在线重打包,可根据硬件自动优化性能。
- 不同硬件适配:针对 ARM 和 AVX 等不同硬件架构进行了优化。
📦 安装指南
使用 huggingface-cli 下载
首先,确保你已经安装了 hugginface-cli:
pip install -U "huggingface_hub[cli]"
然后,你可以指定要下载的特定文件:
huggingface-cli download bartowski/Qwen_Qwen2.5-VL-7B-Instruct-GGUF --include "Qwen_Qwen2.5-VL-7B-Instruct-Q4_K_M.gguf" --local-dir ./
如果模型大小超过 50GB,它会被分割成多个文件。若要将它们全部下载到本地文件夹,请运行:
huggingface-cli download bartowski/Qwen_Qwen2.5-VL-7B-Instruct-GGUF --include "Qwen_Qwen2.5-VL-7B-Instruct-Q8_0/*" --local-dir ./
你可以指定一个新的本地目录(如 Qwen_Qwen2.5-VL-7B-Instruct-Q8_0),也可以将它们全部下载到当前目录(./)。
💻 使用示例
提示格式
<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
📚 详细文档
下载文件选择
嵌入/输出权重
部分量化文件(如 Q3_K_XL、Q4_K_L 等)采用标准量化方法,将嵌入和输出权重量化为 Q8_0,而非默认值。
ARM/AVX 信息
以前,你会下载 Q4_0_4_4/4_8/8_8 文件,这些文件的权重会在内存中交错排列,以便通过一次加载更多数据来提高 ARM 和 AVX 机器的性能。
然而,现在有了一种称为“在线重打包”的权重处理方式,详情见 此 PR。如果你使用 Q4_0 且硬件能从权重重打包中受益,它将自动实时进行重打包。
从 llama.cpp 构建版本 b4282 开始,你将无法运行 Q4_0_X_X 文件,而需要使用 Q4_0。
此外,如果你想获得稍好的质量,可以使用 IQ4_NL,这得益于 此 PR,它也会为 ARM 重打包权重,不过目前仅适用于 4_4 情况。加载时间可能会变慢,但总体速度会提高。
选择合适的文件
首先,你需要确定自己能够运行多大的模型。为此,你需要了解自己拥有多少 RAM 和/或 VRAM。
如果你希望模型运行得尽可能快,你需要将整个模型放入 GPU 的 VRAM 中。建议选择文件大小比 GPU 总 VRAM 小 1 - 2GB 的量化文件。
如果你追求绝对的最高质量,将系统 RAM 和 GPU 的 VRAM 相加,然后选择文件大小比该总和小 1 - 2GB 的量化文件。
接下来,你需要决定是使用“I - 量化”还是“K - 量化”。
如果你不想考虑太多,可以选择 K - 量化文件,其格式为 'QX_K_X',如 Q5_K_M。
如果你想深入了解,可以查看这个非常有用的特性图表:llama.cpp 特性矩阵。
一般来说,如果你希望量化级别低于 Q4,并且使用 cuBLAS(Nvidia)或 rocBLAS(AMD),可以考虑 I - 量化文件,其格式为 IQX_X,如 IQ3_M。这些是较新的量化方式,在相同大小下性能更好。
这些 I - 量化文件也可以在 CPU 上使用,但比相应的 K - 量化文件慢,因此你需要在速度和性能之间进行权衡。
🔧 技术细节
量化方法
使用 llama.cpp 的特定版本(b5317)进行量化,采用 imatrix 选项和特定的数据集。
在线重打包
Q4_0 支持在线重打包,根据硬件自动优化性能,详情见 此 PR。
📄 许可证
本项目采用 Apache - 2.0 许可证。
致谢
感谢 kalomaze 和 Dampf 在创建 imatrix 校准数据集方面提供的帮助。
感谢 ZeroWw 在嵌入/输出实验方面提供的灵感。
感谢 LM Studio 对我工作的赞助。
如果你想支持我的工作,请访问我的 ko - fi 页面:https://ko-fi.com/bartowski