🚀 inclusionAI的Ling - lite - 0415的Llamacpp imatrix量化版本
本项目提供了inclusionAI的Ling - lite - 0415模型的量化版本,借助量化技术可在不同硬件条件下更高效地运行模型,满足多样化的使用需求。
🚀 快速开始
你可以在 LM Studio 中运行这些量化模型,也能直接使用 llama.cpp 或其他基于 llama.cpp 的项目来运行。
✨ 主要特性
- 多种量化类型:提供了丰富的量化类型供选择,如 bf16、Q8_0、Q6_K_L 等,可根据不同的硬件资源和性能需求进行挑选。
- 在线重打包:部分量化类型支持在线重打包功能,能自动优化权重以提升在 ARM 和 AVX 机器上的性能。
- 灵活下载:支持使用 huggingface - cli 灵活下载单个文件或整个模型分支。
📦 安装指南
安装 huggingface - cli
首先,确保你已安装 huggingface - cli:
pip install -U "huggingface_hub[cli]"
下载指定文件
你可以指定要下载的特定文件:
huggingface-cli download bartowski/inclusionAI_Ling-lite-0415-GGUF --include "inclusionAI_Ling-lite-0415-Q4_K_M.gguf" --local-dir ./
下载拆分文件
如果模型大于 50GB,它会被拆分为多个文件。若要将它们全部下载到本地文件夹,可运行:
huggingface-cli download bartowski/inclusionAI_Ling-lite-0415-GGUF --include "inclusionAI_Ling-lite-0415-Q8_0/*" --local-dir ./
你可以指定一个新的本地目录(如 inclusionAI_Ling - lite - 0415 - Q8_0),也可以将它们全部下载到当前目录(./)。
💻 使用示例
基础用法
提示格式
<role>SYSTEM</role>{system_prompt}<role>HUMAN</role>{prompt}<role>ASSISTANT</role><role>ASSISTANT</role>
📚 详细文档
下载文件列表
嵌入/输出权重
部分量化(如 Q3_K_XL、Q4_K_L 等)是标准量化方法,其嵌入和输出权重被量化为 Q8_0,而非通常的默认值。
ARM/AVX 信息
以前,你会下载 Q4_0_4_4/4_8/8_8,这些模型的权重会在内存中交错排列,以便通过一次加载更多数据来提高 ARM 和 AVX 机器的性能。
然而,现在有了一种称为“在线重打包”的权重处理方式,详情见 此 PR。如果你使用 Q4_0 且硬件能从权重重打包中受益,它将自动实时进行重打包。
从 llama.cpp 构建 b4282 开始,你将无法运行 Q4_0_X_X 文件,而需要使用 Q4_0。
此外,如果你想获得稍好的质量,可以使用 IQ4_NL,感谢 此 PR,它也会为 ARM 重打包权重,不过目前仅支持 4_4。加载时间可能会变慢,但总体速度会提高。
选择合适的文件
点击查看详情
Artefact2 提供了一篇很棒的文章,带有展示各种性能的图表,可查看 此处。
首先,你需要确定能运行多大的模型。为此,你需要了解自己有多少内存(RAM)和/或显存(VRAM)。
如果你希望模型运行得尽可能快,你需要将整个模型放入 GPU 的显存中。目标是选择一个文件大小比 GPU 总显存小 1 - 2GB 的量化文件。
如果你追求绝对的最高质量,将系统内存和 GPU 显存相加,然后选择一个文件大小比该总和小 1 - 2GB 的量化文件。
接下来,你需要决定是使用“I - 量化”还是“K - 量化”。
如果你不想考虑太多,选择一个 K - 量化文件。这些文件的格式为“QX_K_X”,如 Q5_K_M。
如果你想深入了解,可以查看这个非常有用的特性图表:
llama.cpp 特性矩阵
但基本上,如果你目标是低于 Q4 的量化,并且你使用的是 cuBLAS(Nvidia)或 rocBLAS(AMD),你应该考虑 I - 量化。这些文件的格式为 IQX_X,如 IQ3_M。这些是较新的量化方式,在相同大小下提供更好的性能。
这些 I - 量化文件也可以在 CPU 上使用,但比等效的 K - 量化文件慢,因此你需要在速度和性能之间做出权衡。
🔧 技术细节
量化方法
使用 llama.cpp 版本 b5147 进行量化。所有量化均使用 imatrix 选项,并使用来自 此处 的数据集。
在线重打包
对于 Q4_0 量化类型,若硬件支持,会自动进行在线重打包以优化性能,详情见 此 PR。
📄 许可证
本项目采用 MIT 许可证。
致谢
感谢 kalomaze 和 Dampf 在创建 imatrix 校准数据集方面提供的帮助。
感谢 ZeroWw 启发了对嵌入/输出的实验。
感谢 LM Studio 对我工作的赞助。
如果你想支持我的工作,请访问我的 ko - fi 页面:https://ko-fi.com/bartowski