# INT4量化

這是google/gemma-3-27b-it的量化版本，支持視覺-文本輸入和文本輸出，通過權重量化和激活量化優化，可使用vLLM進行高效推理。

Qwen3-30B-A3B的INT4量化版本，通過權重量化減少75%的磁盤和GPU內存需求，保持高性能。

Qwen3-32B的INT4量化版本，通過權重量化減少75%的磁盤和GPU內存需求，保持高性能

DeepSeek-R1的INT4權重量化版本，通過減少權重位數降低GPU內存和磁盤空間需求約50%，保持原始模型性能。

這是一個經過INT4量化的Mistral-Small-3.1-24B-Instruct-2503模型，由Red Hat (Neural Magic)優化發佈，適用於快速響應的對話代理和低延遲推理場景。

該模型是對google/gemma-3-12b-it進行INT4量化的版本，通過GPTQ算法將參數從16比特降至4比特，顯著減少了磁盤空間和GPU內存需求。

基於gemma-3-4b-it模型進行INT4量化的版本，顯著減少存儲和計算資源需求

基於openai/whisper-large-v3-turbo的INT4權重量化版本，支持高效音頻轉文本任務

本模型是對Mistral-Small-3.1-24B-Instruct-2503進行INT4量化的版本，通過GPTQ算法將權重從16位降至4位，顯著減少磁盤大小和GPU內存需求。

該模型是對gemma-3-27b-it進行INT4量化的版本，通過減少每個參數的比特數來降低磁盤和GPU內存需求。

這是openai/whisper-large-v3的量化版本，採用INT4權重量化和FP16激活量化，適用於vLLM推理。

FLUX.1-Depth-dev的INT4量化版本，能夠根據文本描述生成圖像，同時遵循輸入圖像的結構。相比原始BF16模型，該版本可節省約4倍內存，運行速度提升2-3倍。

FLUX.1-dev 是一個文本生成圖像的模型，已使用 Optimum Quanto 量化為 INT4 格式，適用於非商業用途。

Meta-Llama-3.1-8B-Instruct的量化版本，經過優化減少磁盤空間和GPU內存需求，適用於英文商業和研究用途的聊天助手場景。

Llama 3.1 70B Instruct的INT4量化版本，基於AutoAWQ技術優化，適用於多語言對話場景。

Llama 3.1 8B Instruct的INT4量化版本，基於AutoAWQ工具進行量化，適用於多語言對話場景。

Whisper是一種預訓練模型，用於自動語音識別（ASR）和語音翻譯。本倉庫提供ONNX格式的Whisper大型模型INT4權重量化版本，由英特爾®神經壓縮器和英特爾®Transformers擴展驅動。