模型简介
模型特点
模型能力
使用案例
🚀 c4ai-command-r7b-12-2024-abliterated的Llamacpp imatrix量化版本
本项目使用 llama.cpp 的 b4415 版本进行量化。该项目能够为 c4ai-command-r7b-12-2024-abliterated
模型提供多种量化版本,以满足不同硬件和性能需求。
模型信息
属性 | 详情 |
---|---|
量化者 | bartowski |
任务类型 | 文本生成 |
基础模型 | huihui-ai/c4ai-command-r7b-12-2024-abliterated |
许可证 | cc-by-nc-4.0 |
支持语言 | 英语、法语、德语、西班牙语、意大利语、葡萄牙语、日语、韩语、中文、阿拉伯语、希腊语、波斯语、波兰语、印尼语、捷克语、希伯来语、印地语、荷兰语、罗马尼亚语、俄语、土耳其语、乌克兰语、越南语 |
额外信息
提交表单即表示您同意 许可协议,并确认您提供的信息将根据 Cohere 的 隐私政策 进行收集、使用和共享。您将收到有关 C4AI 和 Cohere 研究、活动、产品和服务的电子邮件更新,您可以随时取消订阅。
🚀 快速开始
量化说明
所有量化版本均使用 imatrix 选项和来自 此处 的数据集生成。您可以在 LM Studio 中运行这些量化版本。
提示格式
<|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>{system_prompt}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|USER_TOKEN|>{prompt}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|><|START_RESPONSE|><|END_RESPONSE|><|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|><|START_RESPONSE|>
文件下载
您可以从以下列表中下载单个文件(而非整个分支):
📚 详细文档
嵌入/输出权重
部分量化版本(如 Q3_K_XL、Q4_K_L 等)采用标准量化方法,将嵌入和输出权重量化为 Q8_0,而非默认值。
使用 huggingface-cli 下载
点击查看下载说明
首先,确保您已安装 hugginface-cli:
pip install -U "huggingface_hub[cli]"
然后,您可以指定要下载的特定文件:
huggingface-cli download bartowski/c4ai-command-r7b-12-2024-abliterated-GGUF --include "c4ai-command-r7b-12-2024-abliterated-Q4_K_M.gguf" --local-dir ./
如果模型大于 50GB,它将被拆分为多个文件。要将所有文件下载到本地文件夹,请运行:
huggingface-cli download bartowski/c4ai-command-r7b-12-2024-abliterated-GGUF --include "c4ai-command-r7b-12-2024-abliterated-Q8_0/*" --local-dir ./
您可以指定一个新的本地目录(如 c4ai-command-r7b-12-2024-abliterated-Q8_0),也可以将所有文件下载到当前目录(./)。
ARM/AVX 信息
以前,您会下载 Q4_0_4_4/4_8/8_8 版本,这些版本的权重在内存中交错排列,以通过一次加载更多数据来提高 ARM 和 AVX 机器的性能。
现在,有了所谓的“在线重新打包”权重功能,详情见 此 PR。如果您使用 Q4_0 且硬件可从重新打包权重中受益,它将自动实时进行。
从 llama.cpp 版本 b4282 开始,您将无法运行 Q4_0_X_X 文件,而需要使用 Q4_0。
此外,如果您想获得略好的质量,可以使用 IQ4_NL,这得益于 此 PR,它也会为 ARM 重新打包权重,但目前仅支持 4_4 版本。加载时间可能会更长,但总体速度会提高。
点击查看 Q4_0_X_X 信息(已弃用)
我保留此部分以展示使用支持在线重新打包的 Q4_0 版本可能带来的理论性能提升。
点击查看 AVX2 系统(EPYC7702)上的基准测试
模型 | 大小 | 参数 | 后端 | 线程数 | 测试类型 | 每秒令牌数 | 与 Q4_0 相比的百分比 |
---|---|---|---|---|---|---|---|
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp512 | 204.03 ± 1.03 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp1024 | 282.92 ± 0.19 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp2048 | 259.49 ± 0.44 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg128 | 39.12 ± 0.27 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg256 | 39.31 ± 0.69 | 100% |
qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg512 | 40.52 ± 0.03 | 100% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp512 | 301.02 ± 1.74 | 147% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp1024 | 287.23 ± 0.20 | 101% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp2048 | 262.77 ± 1.81 | 101% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg128 | 18.80 ± 0.99 | 48% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg256 | 24.46 ± 3.04 | 83% |
qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg512 | 36.32 ± 3.59 | 90% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp512 | 271.71 ± 3.53 | 133% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp1024 | 279.86 ± 45.63 | 100% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp2048 | 320.77 ± 5.00 | 124% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg128 | 43.51 ± 0.05 | 111% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg256 | 43.35 ± 0.09 | 110% |
qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg512 | 42.60 ± 0.31 | 105% |
Q4_0_8_8 在提示处理方面有显著提升,在文本生成方面有小幅提升。
如何选择文件
点击查看详情
Artefact2 提供了一篇很棒的文章,带有展示各种性能的图表,点击查看。
首先,您需要确定可以运行的模型大小。为此,您需要了解自己的内存(RAM)和/或显存(VRAM)容量。
如果您希望模型运行速度尽可能快,应将整个模型加载到 GPU 的显存中。选择文件大小比 GPU 总显存小 1 - 2GB 的量化版本。
如果您追求绝对最高质量,将系统内存和 GPU 显存相加,然后选择文件大小比该总和小 1 - 2GB 的量化版本。
接下来,您需要决定是使用“I 量化”还是“K 量化”。
如果您不想考虑太多,可以选择 K 量化版本。这些版本的格式为 'QX_K_X',如 Q5_K_M。
如果您想深入了解,可以查看这个非常有用的功能图表:llama.cpp 功能矩阵。
但基本上,如果您的目标是低于 Q4 量化,并且使用 cuBLAS(Nvidia)或 rocBLAS(AMD),则应考虑 I 量化版本。这些版本的格式为 IQX_X,如 IQ3_M。这些是较新的版本,在相同大小下提供更好的性能。
这些 I 量化版本也可在 CPU 和 Apple Metal 上使用,但比相应的 K 量化版本慢,因此您需要在速度和性能之间进行权衡。
I 量化版本与 Vulcan(也是 AMD)不兼容,因此如果您使用 AMD 显卡,请仔细检查是使用 rocBLAS 版本还是 Vulcan 版本。在撰写本文时,LM Studio 有一个支持 ROCm 的预览版,其他推理引擎也有针对 ROCm 的特定版本。
🔧 技术细节
本项目使用 llama.cpp
的 b4415
版本进行量化,通过 imatrix 选项和特定数据集生成不同量化版本。部分量化版本对嵌入和输出权重进行特殊处理,采用 Q8_0 量化以提高性能。同时,支持在线重新打包权重功能,以适应不同硬件需求。
📄 许可证
本项目采用 cc-by-nc-4.0 许可证。
🙏 致谢
感谢 kalomaze 和 Dampf 在创建 imatrix 校准数据集方面提供的帮助。
感谢 ZeroWw 在嵌入/输出实验方面提供的灵感。
如果您想支持我的工作,请访问我的 ko-fi 页面:https://ko-fi.com/bartowski



