# INT8量化

BAGEL是一個開源的7B活躍參數多模態基礎模型，支持多模態理解與生成任務

這是Meta-Llama-3.1-8B-Instruct模型的INT8量化版本，通過權重量化和激活量化優化，適用於多語言商業和研究用途。

這是一個經過INT8量化的Mistral-Small-3.1-24B-Instruct-2503模型，由Red Hat和Neural Magic優化，適用於快速響應和低延遲場景。

QWQ-32B的INT8量化版本，通過減少權重和激活的表示位數來優化性能

Qwen2.5-VL-7B-Instruct的量化版本，支持視覺-文本輸入和文本輸出，通過INT8權重量化優化推理效率

DeepSeek-R1-Distill-Qwen-32B的INT8量化版本，通過權重量化和激活值量化減少顯存佔用並提升計算效率。

DeepSeek-R1-Distill-Qwen-14B的量化版本，通過INT8量化優化了權重和激活，降低了GPU內存需求並提高了計算效率。

Qwen2.5-7B-Instruct的INT8量化版本，適用於商業和研究用途的多語言場景，優化了內存需求和計算吞吐量。

FLUX.1-dev是一個文本生成圖像的擴散模型，已通過Optimum Quanto量化為INT8格式，適用於非商業用途。

BAAI/bge-m3的ONNX INT8量化版本，適用於密集檢索任務，優化了與Vespa Embedding的兼容性。

BGE-large-en-v1.5的量化(INT8)ONNX變體，通過DeepSparse進行推理加速

這是RoBERTa-base-go_emotions模型的ONNX版本，支持全精度和INT8量化，用於多標籤情感分析任務。

這是一個使用Intel® Neural Compressor進行訓練後靜態量化的INT8 PyTorch模型，基於Google的ViT模型微調而來，在保持較高準確率的同時大幅減小模型體積。

這是DistilBERT基礎未編碼模型的INT8量化版本，專為問答任務設計，通過訓練後靜態量化優化了模型大小和推理速度。

I-BERT是RoBERTa-large的純整數量化版本，通過INT8存儲參數並使用整數運算執行推理，最高可實現4倍推理加速。

基於全詞掩碼技術預訓練並在SQuAD v1.1上微調的BERT-large英文問答模型，量化至INT8精度