Beaverai MN 2407 DSK QwQify V0.1 12B GGUF

🚀 MN-2407-DSK-QwQify-v0.1-12B-LoRA-WS模型量化项目

本项目是对BeaverAI的MN-2407-DSK-QwQify-v0.1-12B模型进行Llamacpp imatrix量化处理。通过特定的量化工具和版本，生成了多种量化类型的模型文件，方便不同硬件条件和使用场景下的部署与应用。

🚀 快速开始

量化工具与版本

使用 llama.cpp 发布版本 b4896 进行量化。

原始模型

原始模型地址：https://huggingface.co/BeaverAI/MN-2407-DSK-QwQify-v0.1-12B

运行方式

• 可在 LM Studio 中运行量化后的模型。
• 也可直接使用 llama.cpp 或其他基于 llama.cpp 的项目运行。

✨ 主要特性

• 多种量化类型：提供了丰富的量化类型，如 bf16、Q8_0、Q6_K_L 等，满足不同硬件和性能需求。
• 优化嵌入和输出权重：部分量化类型（如 Q3_K_XL、Q4_K_L 等）将嵌入和输出权重量化为 Q8_0，提升模型性能。
• 在线重打包功能：部分量化类型支持在线重打包，可根据硬件自动优化权重加载，提高性能。

📦 安装指南

安装 huggingface-cli

pip install -U "huggingface_hub[cli]"

下载指定文件

huggingface-cli download bartowski/BeaverAI_MN-2407-DSK-QwQify-v0.1-12B-GGUF --include "BeaverAI_MN-2407-DSK-QwQify-v0.1-12B-Q4_K_M.gguf" --local-dir ./

下载拆分文件

若模型大于 50GB，已拆分为多个文件，可使用以下命令下载到本地文件夹：

huggingface-cli download bartowski/BeaverAI_MN-2407-DSK-QwQify-v0.1-12B-GGUF --include "BeaverAI_MN-2407-DSK-QwQify-v0.1-12B-Q8_0/*" --local-dir ./

💻 使用示例

提示格式

<s><|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
<think>

📚 详细文档

模型信息

下载文件列表

ARM/AVX 信息

以前，会下载 Q4_0_4_4/4_8/8_8 类型的文件，其权重在内存中交错排列，以提高 ARM 和 AVX 机器的性能。现在，有了“在线重打包”功能，详情见 此 PR。若使用 Q4_0 且硬件适合重打包权重，会自动进行。从 llama.cpp 构建版本 b4282 开始，无法运行 Q4_0_X_X 文件，需使用 Q4_0。此外，借助 此 PR，可使用 IQ4_NL 获得更好质量，它也会为 ARM 重打包权重，但目前仅支持 4_4。加载时间可能会变慢，但整体速度会提升。

选择合适的文件

可参考 Artefact2 提供的 详细分析。首先，需确定能运行的模型大小，这取决于系统的 RAM 和/或 VRAM 容量。若追求最快速度，应选择文件大小比 GPU 的 VRAM 小 1 - 2GB 的量化类型。若追求最高质量，可将系统 RAM 和 GPU 的 VRAM 相加，选择比该总和小 1 - 2GB 的量化类型。其次，需决定使用 'I-quant' 还是 'K-quant'。若不想过多考虑，可选择 K-quants，格式为 'QX_K_X'，如 Q5_K_M。若想深入了解，可查看 llama.cpp 特性矩阵。一般来说，若目标量化低于 Q4，且使用 cuBLAS（Nvidia）或 rocBLAS（AMD），可考虑 I-quants，格式为 IQX_X，如 IQ3_M。I-quants 较新，相同大小下性能更好，但在 CPU 上运行比 K-quant 慢，需权衡速度和性能。此外，I-quants 与 Vulcan 不兼容，若使用 AMD 显卡，需确认使用的是 rocBLAS 版本还是 Vulcan 版本。

🔧 技术细节

使用 llama.cpp 的特定版本（b4896）进行量化，所有量化均使用 imatrix 选项和 此处 的数据集。部分量化类型将嵌入和输出权重量化为 Q8_0，以提升性能。

📄 许可证

本项目采用 apache-2.0 许可证。

致谢

感谢 kalomaze 和 Dampf 协助创建 imatrix 校准数据集。 感谢 ZeroWw 提供嵌入/输出实验的灵感。 感谢 LM Studio 对本项目的支持。

若想支持作者的工作，可访问：https://ko-fi.com/bartowski