Thedrummer Big Alice 28B V1 GGUF

🚀 TheDrummer的Big-Alice-28B-v1的Llamacpp imatrix量化版本

本项目是TheDrummer的Big-Alice-28B-v1模型的量化版本，使用llamacpp进行量化处理，旨在提升模型在不同硬件上的运行效率，同时提供多种量化类型供用户根据自身需求选择。

🚀 快速开始

运行环境

• 使用 llama.cpp 发布版本 b5384 进行量化。
• 原始模型地址：TheDrummer/Big-Alice-28B-v1
• 所有量化模型均使用imatrix选项和来自 此处 的数据集生成。

运行方式

• 在 LM Studio 中运行。
• 直接使用 llama.cpp 或任何基于llama.cpp的项目运行。

✨ 主要特性

多种量化类型

提供了丰富的量化类型，如bf16、Q8_0、Q6_K_L等，每种量化类型在文件大小、质量和性能上各有特点，用户可以根据自身硬件条件和需求进行选择。

在线重打包功能

部分量化模型支持在线重打包功能，能够根据硬件条件自动优化权重，提高运行效率。

📦 安装指南

安装huggingface-cli

pip install -U "huggingface_hub[cli]"

下载指定文件

huggingface-cli download bartowski/TheDrummer_Big-Alice-28B-v1-GGUF --include "TheDrummer_Big-Alice-28B-v1-Q4_K_M.gguf" --local-dir ./

下载拆分文件

如果模型大小超过50GB，会被拆分为多个文件。可以使用以下命令将它们下载到本地文件夹：

huggingface-cli download bartowski/TheDrummer_Big-Alice-28B-v1-GGUF --include "TheDrummer_Big-Alice-28B-v1-Q8_0/*" --local-dir ./

💻 使用示例

基础用法

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 详细文档

下载文件列表

嵌入/输出权重

部分量化模型（如Q3_K_XL、Q4_K_L等）采用标准量化方法，将嵌入和输出权重量化为Q8_0，而非默认值。

ARM/AVX信息

以前，需要下载Q4_0_4_4/4_8/8_8文件，这些文件的权重在内存中交错排列，以便在ARM和AVX机器上通过一次加载更多数据来提高性能。

现在，有了“在线重新打包”功能，详情见 此PR。如果使用Q4_0且硬件适合重新打包权重，系统将自动实时进行。

从llama.cpp构建版本 b4282 开始，将无法运行Q4_0_X_X文件，而需要使用Q4_0。

此外，根据 此PR，可以使用IQ4_NL获得略高的质量，它也会为ARM重新打包权重，但目前仅支持4_4。加载时间可能会较慢，但总体速度会提高。

如何选择文件

首先，确定可以运行的模型大小，需要了解自己的RAM和/或VRAM容量。

• 如果希望模型运行速度尽可能快，应选择文件大小比GPU总VRAM小1 - 2GB的量化模型。
• 如果追求绝对最高质量，将系统RAM和GPU的VRAM相加，然后选择文件大小比该总和小1 - 2GB的量化模型。

其次，需要决定使用“I-quant”还是“K-quant”。

• 如果不想过多思考，选择K-quant，格式为“QX_K_X”，如Q5_K_M。
• 如果想深入了解，可以查看 llama.cpp特性矩阵。一般来说，如果目标是低于Q4的量化，并且使用cuBLAS（Nvidia）或rocBLAS（AMD），应选择I-quant，格式为IQX_X，如IQ3_M。这些是较新的量化类型，在相同大小下性能更好。

I-quant也可以在CPU上使用，但比相应的K-quant慢，因此需要在速度和性能之间进行权衡。

🔧 技术细节

在线重打包

在线重打包是一种优化权重加载的技术，通过在运行时对权重进行重新排列，使得硬件能够更高效地加载和处理数据。在使用Q4_0量化模型时，如果硬件支持，系统会自动进行在线重打包，以提高性能。

量化类型选择

不同的量化类型在文件大小、质量和性能上存在差异。例如，Q8_0提供了极高的质量，但文件大小较大；而Q2_K则文件大小较小，但质量较低。用户可以根据自己的硬件条件和需求选择合适的量化类型。

📄 许可证

本项目采用MIT许可证。

致谢

感谢kalomaze和Dampf在创建imatrix校准数据集方面提供的帮助。 感谢ZeroWw在嵌入/输出实验方面的启发。 感谢LM Studio对本项目的赞助。

如果您想支持我的工作，请访问我的ko-fi页面：https://ko-fi.com/bartowski