C4ai Command R7b 12 2024 Abliterated GGUF

🚀 c4ai-command-r7b-12-2024-abliterated的Llamacpp imatrix量化版本

本项目使用 llama.cpp 的 b4415 版本进行量化。该项目能够为 c4ai-command-r7b-12-2024-abliterated 模型提供多种量化版本，以满足不同硬件和性能需求。

模型信息

额外信息

提交表单即表示您同意 许可协议，并确认您提供的信息将根据 Cohere 的 隐私政策 进行收集、使用和共享。您将收到有关 C4AI 和 Cohere 研究、活动、产品和服务的电子邮件更新，您可以随时取消订阅。

🚀 快速开始

量化说明

所有量化版本均使用 imatrix 选项和来自 此处 的数据集生成。您可以在 LM Studio 中运行这些量化版本。

提示格式

<|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>{system_prompt}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|USER_TOKEN|>{prompt}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|><|START_RESPONSE|><|END_RESPONSE|><|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|><|START_RESPONSE|>

文件下载

您可以从以下列表中下载单个文件（而非整个分支）：

📚 详细文档

嵌入/输出权重

部分量化版本（如 Q3_K_XL、Q4_K_L 等）采用标准量化方法，将嵌入和输出权重量化为 Q8_0，而非默认值。

使用 huggingface-cli 下载

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/c4ai-command-r7b-12-2024-abliterated-GGUF --include "c4ai-command-r7b-12-2024-abliterated-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/c4ai-command-r7b-12-2024-abliterated-GGUF --include "c4ai-command-r7b-12-2024-abliterated-Q8_0/*" --local-dir ./

ARM/AVX 信息

以前，您会下载 Q4_0_4_4/4_8/8_8 版本，这些版本的权重在内存中交错排列，以通过一次加载更多数据来提高 ARM 和 AVX 机器的性能。

现在，有了所谓的“在线重新打包”权重功能，详情见 此 PR。如果您使用 Q4_0 且硬件可从重新打包权重中受益，它将自动实时进行。

从 llama.cpp 版本 b4282 开始，您将无法运行 Q4_0_X_X 文件，而需要使用 Q4_0。

此外，如果您想获得略好的质量，可以使用 IQ4_NL，这得益于 此 PR，它也会为 ARM 重新打包权重，但目前仅支持 4_4 版本。加载时间可能会更长，但总体速度会提高。

如何选择文件

🔧 技术细节

本项目使用 llama.cpp 的 b4415 版本进行量化，通过 imatrix 选项和特定数据集生成不同量化版本。部分量化版本对嵌入和输出权重进行特殊处理，采用 Q8_0 量化以提高性能。同时，支持在线重新打包权重功能，以适应不同硬件需求。

📄 许可证

本项目采用 cc-by-nc-4.0 许可证。

🙏 致谢

感谢 kalomaze 和 Dampf 在创建 imatrix 校准数据集方面提供的帮助。

感谢 ZeroWw 在嵌入/输出实验方面提供的灵感。

如果您想支持我的工作，请访问我的 ko-fi 页面：https://ko-fi.com/bartowski