# vLLM優化

基於google/gemma-3-4b-it的量化版本，採用INT4權重量化和FP16激活量化，優化推理效率

該模型是Bielik-4.5B-v3.0-Instruct的FP8量化版本，通過AutoFP8技術將權重和激活量化為FP8數據類型，減少約50%的磁盤空間和GPU內存需求。

QWQ-32B的INT8量化版本，通過減少權重和激活的表示位數來優化性能

QwQ-32B的FP8量化版本，通過動態量化技術減少50%存儲和內存需求，同時保持99.75%的原始模型精度

這是openai/whisper-large-v3的量化版本，採用INT4權重量化和FP16激活量化，適用於vLLM推理。

Qwen/Qwen2.5-VL-3B-Instruct的量化版本，支持視覺-文本輸入和文本輸出，權重量化為INT8，激活量化為INT8。

pixtral-12b-FP8-dynamic 是 mistral-community/pixtral-12b 的量化版本，通過將權重和激活量化為 FP8 數據類型，減少磁盤大小和 GPU 內存需求約 50%，適用於多種語言的商業和研究用途。

Meta-Llama-3.1-70B的FP8量化版本，適用於多語言的商業和研究用途，權重和激活均量化為FP8格式，減少約50%的存儲和內存需求。

Meta-Llama-3.1-8B的FP8量化版本，適用於多種語言的商業和研究用途。

Meta-Llama-3.1-70B-Instruct的FP8量化版本，適用於多語言的商業和研究用途，特別適合類似助手的聊天場景。

DeepSeek-Coder-V2-Lite-Instruct的FP8量化版本，適用於英語的商業和研究用途，優化了推理效率。

Dolphin 2.9 Llama3 70B 的 AWQ 量化版本，適用於 vllm 和其他推理引擎。