百度ERNIE-4.5-21B-A3B-PT-GGUF開源模型 - 提升多硬件環境運行效率與性能

首頁

Baidu ERNIE 4.5 21B A3B PT GGUF

由bartowski開發

百度ERNIE-4.5-21B-A3B-PT模型的量化版本，通過llama.cpp進行量化處理，提升在不同硬件環境下的運行效率和性能。

大型語言模型 #大模型量化 #中文優化 #高效推理

下載量 1,600

發布時間 : 6/30/2025

模型概述

該模型是百度ERNIE-4.5-21B-A3B-PT的量化版本，旨在通過量化技術優化模型在各類硬件上的運行效率，同時保持較高的模型性能。

模型特點

高效量化

使用llama.cpp進行量化處理，支持多種量化類型，從高精度到低精度，滿足不同硬件需求。

硬件兼容性

支持在LM Studio和llama.cpp等平臺上運行，適配多種硬件環境。

嵌入和輸出權重優化

部分量化模型對嵌入和輸出權重進行了特殊處理，採用Q8_0量化，提升模型性能。

在線重新打包

支持權重在線重新打包，優化在ARM和AVX硬件上的運行效率。

模型能力

文本生成

高效推理

多硬件適配

使用案例

文本生成

內容創作

用於生成高質量的文章、故事或其他文本內容。

生成流暢、連貫的文本

對話系統

用於構建智能對話機器人，提供自然語言交互能力。

實現自然、流暢的對話

研究與開發

模型量化研究

用於研究不同量化方法對模型性能的影響。

提供多種量化選項，便於對比分析

🚀 百度ERNIE - 4.5 - 21B - A3B - PT的Llamacpp imatrix量化模型

本項目是對百度ERNIE - 4.5 - 21B - A3B - PT模型進行的量化處理，旨在提升模型在不同硬件環境下的運行效率和性能。

🚀 快速開始

運行方式

LM Studio：可在 LM Studio 中運行量化後的模型。
llama.cpp：直接使用 llama.cpp 或任何基於 llama.cpp 的項目來運行。

下載文件

可從下方表格中選擇需要的文件進行下載：

文件名	量化類型	文件大小	分割情況	描述
[ERNIE - 4.5 - 21B - A3B - PT - bf16.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - bf16.gguf)	bf16	43.66GB	false	完整的BF16權重。
[ERNIE - 4.5 - 21B - A3B - PT - Q8_0.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q8_0.gguf)	Q8_0	23.21GB	false	極高質量，通常不需要，但為最大可用量化。
[ERNIE - 4.5 - 21B - A3B - PT - Q6_K_L.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q6_K_L.gguf)	Q6_K_L	18.15GB	false	嵌入和輸出權重使用Q8_0。非常高質量，接近完美，推薦。
[ERNIE - 4.5 - 21B - A3B - PT - Q6_K.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q6_K.gguf)	Q6_K	18.08GB	false	非常高質量，接近完美，推薦。
[ERNIE - 4.5 - 21B - A3B - PT - Q5_K_L.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q5_K_L.gguf)	Q5_K_L	15.82GB	false	嵌入和輸出權重使用Q8_0。高質量，推薦。
[ERNIE - 4.5 - 21B - A3B - PT - Q5_K_M.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q5_K_M.gguf)	Q5_K_M	15.75GB	false	高質量，推薦。
[ERNIE - 4.5 - 21B - A3B - PT - Q5_K_S.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q5_K_S.gguf)	Q5_K_S	15.23GB	false	高質量，推薦。
[ERNIE - 4.5 - 21B - A3B - PT - Q4_1.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_1.gguf)	Q4_1	13.88GB	false	舊格式，性能與Q4_K_S相似，但在蘋果硅芯片上每瓦處理的令牌數有所提高。
[ERNIE - 4.5 - 21B - A3B - PT - Q4_K_L.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_K_L.gguf)	Q4_K_L	13.56GB	false	嵌入和輸出權重使用Q8_0。質量良好，推薦。
[ERNIE - 4.5 - 21B - A3B - PT - Q4_K_M.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_K_M.gguf)	Q4_K_M	13.50GB	false	質量良好，是大多數用例的默認選擇，推薦。
[ERNIE - 4.5 - 21B - A3B - PT - Q4_K_S.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_K_S.gguf)	Q4_K_S	13.01GB	false	質量略低，但節省更多空間，推薦。
[ERNIE - 4.5 - 21B - A3B - PT - Q4_0.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_0.gguf)	Q4_0	12.78GB	false	舊格式，可為ARM和AVX CPU推理提供在線重新打包。
[ERNIE - 4.5 - 21B - A3B - PT - IQ4_NL.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ4_NL.gguf)	IQ4_NL	12.60GB	false	與IQ4_XS相似，但略大。可為ARM CPU推理提供在線重新打包。
[ERNIE - 4.5 - 21B - A3B - PT - IQ4_XS.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ4_XS.gguf)	IQ4_XS	11.96GB	false	質量尚可，比Q4_K_S小，性能相似，推薦。
[ERNIE - 4.5 - 21B - A3B - PT - Q3_K_XL.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q3_K_XL.gguf)	Q3_K_XL	10.73GB	false	嵌入和輸出權重使用Q8_0。質量較低但可用，適合低內存環境。
[ERNIE - 4.5 - 21B - A3B - PT - Q3_K_L.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q3_K_L.gguf)	Q3_K_L	10.66GB	false	質量較低但可用，適合低內存環境。
[ERNIE - 4.5 - 21B - A3B - PT - Q3_K_M.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q3_K_M.gguf)	Q3_K_M	10.30GB	false	質量較低。
[ERNIE - 4.5 - 21B - A3B - PT - IQ3_M.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ3_M.gguf)	IQ3_M	10.29GB	false	中低質量，新方法，性能與Q3_K_M相當。
[ERNIE - 4.5 - 21B - A3B - PT - Q3_K_S.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q3_K_S.gguf)	Q3_K_S	9.85GB	false	質量較低，不推薦。
[ERNIE - 4.5 - 21B - A3B - PT - IQ3_XS.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ3_XS.gguf)	IQ3_XS	9.35GB	false	質量較低，新方法，性能尚可，略優於Q3_K_S。
[ERNIE - 4.5 - 21B - A3B - PT - IQ3_XXS.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ3_XXS.gguf)	IQ3_XXS	8.99GB	false	質量較低，新方法，性能尚可，與Q3量化相當。
[ERNIE - 4.5 - 21B - A3B - PT - Q2_K_L.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q2_K_L.gguf)	Q2_K_L	8.16GB	false	嵌入和輸出權重使用Q8_0。質量極低，但出人意料地可用。
[ERNIE - 4.5 - 21B - A3B - PT - Q2_K.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - Q2_K.gguf)	Q2_K	8.09GB	false	質量極低，但出人意料地可用。
[ERNIE - 4.5 - 21B - A3B - PT - IQ2_M.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ2_M.gguf)	IQ2_M	7.16GB	false	質量相對較低，使用了最先進的技術，出人意料地可用。
[ERNIE - 4.5 - 21B - A3B - PT - IQ2_S.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ2_S.gguf)	IQ2_S	6.37GB	false	質量較低，使用了最先進的技術，可用。
[ERNIE - 4.5 - 21B - A3B - PT - IQ2_XS.gguf](https://huggingface.co/bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF/blob/main/baidu_ERNIE - 4.5 - 21B - A3B - PT - IQ2_XS.gguf)	IQ2_XS	6.35GB	false	質量較低，使用了最先進的技術，可用。

提示格式

目前未找到特定的提示格式，請查看原模型頁面獲取相關信息。

使用huggingface - cli下載

點擊查看下載說明

首先，確保已安裝huggingface - cli：

pip install -U "huggingface_hub[cli]"

然後，可指定要下載的特定文件：

huggingface-cli download bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF --include "baidu_ERNIE - 4.5 - 21B - A3B - PT - Q4_K_M.gguf" --local-dir ./

如果模型大小超過50GB，它會被分割成多個文件。要將它們全部下載到本地文件夾，請運行：

huggingface-cli download bartowski/baidu_ERNIE - 4.5 - 21B - A3B - PT - GGUF --include "baidu_ERNIE - 4.5 - 21B - A3B - PT - Q8_0/*" --local-dir ./

你可以指定一個新的本地目錄（baidu_ERNIE - 4.5 - 21B - A3B - PT - Q8_0），也可以將它們全部下載到當前目錄（./）。

✨ 主要特性

量化方式

使用 llama.cpp 的 b5924 版本進行量化處理。所有量化均使用imatrix選項，並結合來自此處的數據集。

嵌入/輸出權重

部分量化模型（如Q3_K_XL、Q4_K_L等）採用了標準量化方法，將嵌入和輸出權重量化為Q8_0，而非默認設置，以提升模型性能。

ARM/AVX信息

在線重新打包：現在支持對權重進行“在線重新打包”，詳情見此PR。如果使用Q4_0且硬件能從權重重新打包中受益，模型將在運行時自動進行處理。
版本兼容性：從llama.cpp的 b4282 版本開始，無法運行Q4_0_X_X文件，需使用Q4_0。
更高質量選擇：藉助此PR，可使用IQ4_NL獲得略高的質量，它也會為ARM重新打包權重，但目前僅支持4_4格式。加載時間可能會稍長，但整體速度會有所提升。

📚 詳細文檔

如何選擇合適的文件

點擊查看詳情

Artefact2在此處提供了一份帶有圖表的詳細分析，展示了不同量化模型的性能。

選擇合適的量化文件，可參考以下步驟：

確定可運行的模型大小：首先需要明確你擁有的RAM和/或VRAM容量。
- 若希望模型運行速度最快，應選擇文件大小比GPU總VRAM小1 - 2GB的量化模型，以便將整個模型加載到GPU的VRAM中。
- 若追求極致質量，可將系統RAM和GPU的VRAM相加，然後選擇文件大小比該總和小1 - 2GB的量化模型。
選擇'I - quant'或'K - quant'：
- 若不想過多考慮，可選擇K - quant，格式為'QX_K_X'，如Q5_K_M。
- 若想深入瞭解，可查看 [llama.cpp特性矩陣](https://github.com/ggerganov/llama.cpp/wiki/Feature - matrix)。一般來說，若目標是低於Q4的量化，且使用cuBLAS（Nvidia）或rocBLAS（AMD），應考慮I - quant，格式為IQX_X，如IQ3_M。這些I - quant較新，在相同大小下性能更好。
- I - quant也可在CPU上使用，但速度比對應的K - quant慢，因此需要在速度和性能之間進行權衡。

基準測試

點擊查看AVX2系統（EPYC7702）上的基準測試

模型	大小	參數	後端	線程數	測試類型	每秒令牌數	與Q4_0相比的百分比
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp512	204.03 ± 1.03	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp1024	282.92 ± 0.19	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp2048	259.49 ± 0.44	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg128	39.12 ± 0.27	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg256	39.31 ± 0.69	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg512	40.52 ± 0.03	100%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp512	301.02 ± 1.74	147%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp1024	287.23 ± 0.20	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp2048	262.77 ± 1.81	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg128	18.80 ± 0.99	48%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg256	24.46 ± 3.04	83%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg512	36.32 ± 3.59	90%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp512	271.71 ± 3.53	133%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp1024	279.86 ± 45.63	100%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp2048	320.77 ± 5.00	124%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg128	43.51 ± 0.05	111%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg256	43.35 ± 0.09	110%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg512	42.60 ± 0.31	105%

從測試結果來看，Q4_0_8_8在提示處理方面有明顯提升，在文本生成方面也有小幅提升。

🔧 技術細節

本項目使用llama.cpp的特定版本對百度ERNIE - 4.5 - 21B - A3B - PT模型進行量化。量化過程中，結合了imatrix選項和特定的數據集，以確保模型在不同硬件環境下的性能和效率。部分量化模型對嵌入和輸出權重進行了特殊處理，採用Q8_0量化，提升了模型的質量和可用性。同時，引入了“在線重新打包”技術，進一步優化了模型在ARM和AVX硬件上的性能。