Nvidia AceReason Nemotron 1.1 7B GGUF

🚀 NVIDIA AceReason - Nemotron - 1.1 - 7B的量化模型

本项目是对NVIDIA的AceReason - Nemotron - 1.1 - 7B模型进行量化处理，旨在优化模型在不同硬件上的运行效率，同时保持一定的性能和质量。

🚀 快速开始

运行环境

• 可使用 LM Studio 运行量化后的模型。
• 也可以直接使用 llama.cpp 或基于 llama.cpp 的其他项目来运行。

提示格式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

✨ 主要特性

• 多种量化类型：提供了丰富的量化类型供选择，如 bf16、Q8_0、Q6_K_L 等，满足不同的性能和质量需求。
• 在线重打包：部分量化类型支持在线重打包功能，可自动优化硬件性能。
• 性能提升：通过量化处理，在保证一定质量的前提下，显著减少模型文件大小，提高运行效率。

📦 安装指南

安装 huggingface - cli

pip install -U "huggingface_hub[cli]"

下载指定文件

huggingface-cli download bartowski/nvidia_AceReason-Nemotron-1.1-7B-GGUF --include "nvidia_AceReason-Nemotron-1.1-7B-Q4_K_M.gguf" --local-dir ./

下载拆分文件

如果模型大于 50GB，已拆分为多个文件，可使用以下命令下载到本地文件夹：

huggingface-cli download bartowski/nvidia_AceReason-Nemotron-1.1-7B-GGUF --include "nvidia_AceReason-Nemotron-1.1-7B-Q8_0/*" --local-dir ./

💻 使用示例

选择合适的量化文件

根据自身硬件配置和需求，选择合适的量化文件进行下载和使用。具体选择建议如下：

📚 详细文档

量化信息

下载文件列表

嵌入/输出权重

部分量化类型（如 Q3_K_XL、Q4_K_L 等）采用标准量化方法，将嵌入和输出权重量化为 Q8_0，而非默认值。

ARM/AVX 信息

以前，需要下载 Q4_0_4_4/4_8/8_8 文件，其权重在内存中交错排列，以提高 ARM 和 AVX 机器的性能。现在，有了“在线重打包”功能，详情见 此 PR。若使用 Q4_0 且硬件能从权重重打包中受益，将自动实时进行重打包。

从 llama.cpp 构建版本 b4282 开始，无法运行 Q4_0_X_X 文件，需使用 Q4_0。此外，若想获得稍高质量，可使用 IQ4_NL，详情见 此 PR，它也会为 ARM 重打包权重，目前仅支持 4_4 情况。加载时间可能会变慢，但总体速度会提高。

🔧 技术细节

本项目使用 llama.cpp 的特定版本（b5674）进行量化处理，利用 imatrix 选项和指定的校准数据集，确保量化的准确性和有效性。同时，引入了在线重打包技术，优化了 ARM 和 AVX 机器上的性能。

📄 许可证

本项目使用 [NVIDIA 开放模型许可证](https://www.nvidia.com/en - us/agreements/enterprise - software/nvidia - open - model - license/)。

致谢

感谢 kalomaze 和 Dampf 在创建 imatrix 校准数据集方面提供的帮助。 感谢 ZeroWw 在嵌入/输出实验方面提供的灵感。 感谢 LM Studio 对本项目的赞助。

如果您想支持我的工作，请访问我的 ko - fi 页面：[https://ko - fi.com/bartowski](https://ko - fi.com/bartowski)