# INT4量化推理

经过量化处理的DeepSeek-R1-0528模型，通过将权重量化为INT4数据类型，显著降低了GPU内存和磁盘空间的需求。

phi-4的INT4量化版本，通过权重量化减少75%的存储和内存需求，保持高性能

Qwen2.5-VL-3B-Instruct的量化版本，权重量化为INT4，激活量化为FP16，适用于视觉-文本任务的高效推理。

Qwen2.5-VL-7B-Instruct的量化版本，支持视觉-文本输入和文本输出，权重量化为INT4，激活量化为FP16。