# INT4量化推理

經過量化處理的DeepSeek-R1-0528模型，通過將權重量化為INT4數據類型，顯著降低了GPU內存和磁盤空間的需求。

phi-4的INT4量化版本，通過權重量化減少75%的存儲和內存需求，保持高性能

Qwen2.5-VL-3B-Instruct的量化版本，權重量化為INT4，激活量化為FP16，適用於視覺-文本任務的高效推理。

Qwen2.5-VL-7B-Instruct的量化版本，支持視覺-文本輸入和文本輸出，權重量化為INT4，激活量化為FP16。