百度ERNIE-4.5-21B-A3B-PT-GGUF开源模型 - 提升多硬件环境运行效率与性能

首页

Baidu ERNIE 4.5 21B A3B PT GGUF

由 bartowski 开发

百度ERNIE-4.5-21B-A3B-PT模型的量化版本，通过llama.cpp进行量化处理，提升在不同硬件环境下的运行效率和性能。

大型语言模型 #大模型量化 #中文优化 #高效推理

下载量 1,600

发布时间 : 6/30/2025

模型简介

该模型是百度ERNIE-4.5-21B-A3B-PT的量化版本，旨在通过量化技术优化模型在各类硬件上的运行效率，同时保持较高的模型性能。

模型特点

高效量化

使用llama.cpp进行量化处理，支持多种量化类型，从高精度到低精度，满足不同硬件需求。

硬件兼容性

支持在LM Studio和llama.cpp等平台上运行，适配多种硬件环境。

嵌入和输出权重优化

部分量化模型对嵌入和输出权重进行了特殊处理，采用Q8_0量化，提升模型性能。

在线重新打包

支持权重在线重新打包，优化在ARM和AVX硬件上的运行效率。

模型能力

文本生成

高效推理

多硬件适配

使用案例

文本生成

内容创作

用于生成高质量的文章、故事或其他文本内容。

生成流畅、连贯的文本

对话系统

用于构建智能对话机器人，提供自然语言交互能力。

实现自然、流畅的对话

研究与开发

模型量化研究

用于研究不同量化方法对模型性能的影响。

提供多种量化选项，便于对比分析

🚀 百度ERNIE - 4.5 - 21B - A3B - PT的Llamacpp imatrix量化模型

本项目是对百度ERNIE - 4.5 - 21B - A3B - PT模型进行的量化处理，旨在提升模型在不同硬件环境下的运行效率和性能。

🚀 快速开始

运行方式

LM Studio：可在 LM Studio 中运行量化后的模型。
llama.cpp：直接使用 llama.cpp 或任何基于 llama.cpp 的项目来运行。

下载文件

可从下方表格中选择需要的文件进行下载：

文件名	量化类型	文件大小	分割情况	描述
[ERNIE - 4.5 - 21B - A3B - PT - bf16.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - bf16.gguf)	bf16	43.66GB	false	完整的BF16权重。
[ERNIE - 4.5 - 21B - A3B - PT - Q8_0.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q8_0.gguf)	Q8_0	23.21GB	false	极高质量，通常不需要，但为最大可用量化。
[ERNIE - 4.5 - 21B - A3B - PT - Q6_K_L.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q6_K_L.gguf)	Q6_K_L	18.15GB	false	嵌入和输出权重使用Q8_0。非常高质量，接近完美，推荐。
[ERNIE - 4.5 - 21B - A3B - PT - Q6_K.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q6_K.gguf)	Q6_K	18.08GB	false	非常高质量，接近完美，推荐。
[ERNIE - 4.5 - 21B - A3B - PT - Q5_K_L.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q5_K_L.gguf)	Q5_K_L	15.82GB	false	嵌入和输出权重使用Q8_0。高质量，推荐。
[ERNIE - 4.5 - 21B - A3B - PT - Q5_K_M.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q5_K_M.gguf)	Q5_K_M	15.75GB	false	高质量，推荐。
[ERNIE - 4.5 - 21B - A3B - PT - Q5_K_S.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q5_K_S.gguf)	Q5_K_S	15.23GB	false	高质量，推荐。
[ERNIE - 4.5 - 21B - A3B - PT - Q4_1.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_1.gguf)	Q4_1	13.88GB	false	旧格式，性能与Q4_K_S相似，但在苹果硅芯片上每瓦处理的令牌数有所提高。
[ERNIE - 4.5 - 21B - A3B - PT - Q4_K_L.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_K_L.gguf)	Q4_K_L	13.56GB	false	嵌入和输出权重使用Q8_0。质量良好，推荐。
[ERNIE - 4.5 - 21B - A3B - PT - Q4_K_M.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_K_M.gguf)	Q4_K_M	13.50GB	false	质量良好，是大多数用例的默认选择，推荐。
[ERNIE - 4.5 - 21B - A3B - PT - Q4_K_S.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_K_S.gguf)	Q4_K_S	13.01GB	false	质量略低，但节省更多空间，推荐。
[ERNIE - 4.5 - 21B - A3B - PT - Q4_0.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_0.gguf)	Q4_0	12.78GB	false	旧格式，可为ARM和AVX CPU推理提供在线重新打包。
[ERNIE - 4.5 - 21B - A3B - PT - IQ4_NL.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ4_NL.gguf)	IQ4_NL	12.60GB	false	与IQ4_XS相似，但略大。可为ARM CPU推理提供在线重新打包。
[ERNIE - 4.5 - 21B - A3B - PT - IQ4_XS.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ4_XS.gguf)	IQ4_XS	11.96GB	false	质量尚可，比Q4_K_S小，性能相似，推荐。
[ERNIE - 4.5 - 21B - A3B - PT - Q3_K_XL.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q3_K_XL.gguf)	Q3_K_XL	10.73GB	false	嵌入和输出权重使用Q8_0。质量较低但可用，适合低内存环境。
[ERNIE - 4.5 - 21B - A3B - PT - Q3_K_L.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q3_K_L.gguf)	Q3_K_L	10.66GB	false	质量较低但可用，适合低内存环境。
[ERNIE - 4.5 - 21B - A3B - PT - Q3_K_M.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q3_K_M.gguf)	Q3_K_M	10.30GB	false	质量较低。
[ERNIE - 4.5 - 21B - A3B - PT - IQ3_M.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ3_M.gguf)	IQ3_M	10.29GB	false	中低质量，新方法，性能与Q3_K_M相当。
[ERNIE - 4.5 - 21B - A3B - PT - Q3_K_S.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q3_K_S.gguf)	Q3_K_S	9.85GB	false	质量较低，不推荐。
[ERNIE - 4.5 - 21B - A3B - PT - IQ3_XS.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ3_XS.gguf)	IQ3_XS	9.35GB	false	质量较低，新方法，性能尚可，略优于Q3_K_S。
[ERNIE - 4.5 - 21B - A3B - PT - IQ3_XXS.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ3_XXS.gguf)	IQ3_XXS	8.99GB	false	质量较低，新方法，性能尚可，与Q3量化相当。
[ERNIE - 4.5 - 21B - A3B - PT - Q2_K_L.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q2_K_L.gguf)	Q2_K_L	8.16GB	false	嵌入和输出权重使用Q8_0。质量极低，但出人意料地可用。
[ERNIE - 4.5 - 21B - A3B - PT - Q2_K.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q2_K.gguf)	Q2_K	8.09GB	false	质量极低，但出人意料地可用。
[ERNIE - 4.5 - 21B - A3B - PT - IQ2_M.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ2_M.gguf)	IQ2_M	7.16GB	false	质量相对较低，使用了最先进的技术，出人意料地可用。
[ERNIE - 4.5 - 21B - A3B - PT - IQ2_S.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ2_S.gguf)	IQ2_S	6.37GB	false	质量较低，使用了最先进的技术，可用。
[ERNIE - 4.5 - 21B - A3B - PT - IQ2_XS.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ2_XS.gguf)	IQ2_XS	6.35GB	false	质量较低，使用了最先进的技术，可用。

提示格式

目前未找到特定的提示格式，请查看原模型页面获取相关信息。

使用huggingface - cli下载

点击查看下载说明

首先，确保已安装huggingface - cli：

pip install -U "huggingface_hub[cli]"

然后，可指定要下载的特定文件：

huggingface-cli download bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF --include "baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_K_M.gguf" --local-dir ./

如果模型大小超过50GB，它会被分割成多个文件。要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF --include "baidu_ERNIE - 4.5 - 21B - A3B - PT - Q8_0/*" --local-dir ./

你可以指定一个新的本地目录（baidu_ERNIE - 4.5 - 21B - A3B - PT - Q8_0），也可以将它们全部下载到当前目录（./）。

✨ 主要特性

量化方式

使用 llama.cpp 的 b5924 版本进行量化处理。所有量化均使用imatrix选项，并结合来自此处的数据集。

嵌入/输出权重

部分量化模型（如Q3_K_XL、Q4_K_L等）采用了标准量化方法，将嵌入和输出权重量化为Q8_0，而非默认设置，以提升模型性能。

ARM/AVX信息

在线重新打包：现在支持对权重进行“在线重新打包”，详情见此PR。如果使用Q4_0且硬件能从权重重新打包中受益，模型将在运行时自动进行处理。
版本兼容性：从llama.cpp的 b4282 版本开始，无法运行Q4_0_X_X文件，需使用Q4_0。
更高质量选择：借助此PR，可使用IQ4_NL获得略高的质量，它也会为ARM重新打包权重，但目前仅支持4_4格式。加载时间可能会稍长，但整体速度会有所提升。

📚 详细文档

如何选择合适的文件

点击查看详情

Artefact2在此处提供了一份带有图表的详细分析，展示了不同量化模型的性能。

选择合适的量化文件，可参考以下步骤：

确定可运行的模型大小：首先需要明确你拥有的RAM和/或VRAM容量。
- 若希望模型运行速度最快，应选择文件大小比GPU总VRAM小1 - 2GB的量化模型，以便将整个模型加载到GPU的VRAM中。
- 若追求极致质量，可将系统RAM和GPU的VRAM相加，然后选择文件大小比该总和小1 - 2GB的量化模型。
选择'I - quant'或'K - quant'：
- 若不想过多考虑，可选择K - quant，格式为'QX_K_X'，如Q5_K_M。
- 若想深入了解，可查看 [llama.cpp特性矩阵](https://github.com/ggerganov/llama.cpp/wiki/Feature - matrix)。一般来说，若目标是低于Q4的量化，且使用cuBLAS（Nvidia）或rocBLAS（AMD），应考虑I - quant，格式为IQX_X，如IQ3_M。这些I - quant较新，在相同大小下性能更好。
- I - quant也可在CPU上使用，但速度比对应的K - quant慢，因此需要在速度和性能之间进行权衡。

基准测试

点击查看AVX2系统（EPYC7702）上的基准测试

模型	大小	参数	后端	线程数	测试类型	每秒令牌数	与Q4_0相比的百分比
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp512	204.03 ± 1.03	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp1024	282.92 ± 0.19	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp2048	259.49 ± 0.44	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg128	39.12 ± 0.27	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg256	39.31 ± 0.69	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg512	40.52 ± 0.03	100%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp512	301.02 ± 1.74	147%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp1024	287.23 ± 0.20	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp2048	262.77 ± 1.81	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg128	18.80 ± 0.99	48%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg256	24.46 ± 3.04	83%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg512	36.32 ± 3.59	90%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp512	271.71 ± 3.53	133%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp1024	279.86 ± 45.63	100%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp2048	320.77 ± 5.00	124%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg128	43.51 ± 0.05	111%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg256	43.35 ± 0.09	110%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg512	42.60 ± 0.31	105%

从测试结果来看，Q4_0_8_8在提示处理方面有明显提升，在文本生成方面也有小幅提升。

🔧 技术细节

本项目使用llama.cpp的特定版本对百度ERNIE - 4.5 - 21B - A3B - PT模型进行量化。量化过程中，结合了imatrix选项和特定的数据集，以确保模型在不同硬件环境下的性能和效率。部分量化模型对嵌入和输出权重进行了特殊处理，采用Q8_0量化，提升了模型的质量和可用性。同时，引入了“在线重新打包”技术，进一步优化了模型在ARM和AVX硬件上的性能。