# vLLM優化

Gemma 3 4b It Quantized.w4a16
基於google/gemma-3-4b-it的量化版本,採用INT4權重量化和FP16激活量化,優化推理效率
圖像生成文本 Transformers
G
RedHatAI
195
1
Bielik 4.5B V3.0 Instruct FP8 Dynamic
Apache-2.0
該模型是Bielik-4.5B-v3.0-Instruct的FP8量化版本,通過AutoFP8技術將權重和激活量化為FP8數據類型,減少約50%的磁盤空間和GPU內存需求。
大型語言模型 其他
B
speakleash
74
1
Qwq 32B INT8 W8A8
Apache-2.0
QWQ-32B的INT8量化版本,通過減少權重和激活的表示位數來優化性能
大型語言模型 Transformers 英語
Q
ospatch
590
4
Qwq 32B FP8 Dynamic
MIT
QwQ-32B的FP8量化版本,通過動態量化技術減少50%存儲和內存需求,同時保持99.75%的原始模型精度
大型語言模型 Transformers
Q
RedHatAI
3,107
8
Whisper Large V3.w4a16
Apache-2.0
這是openai/whisper-large-v3的量化版本,採用INT4權重量化和FP16激活量化,適用於vLLM推理。
語音識別 Transformers 英語
W
nm-testing
20
1
Qwen2.5 VL 3B Instruct Quantized.w8a8
Apache-2.0
Qwen/Qwen2.5-VL-3B-Instruct的量化版本,支持視覺-文本輸入和文本輸出,權重量化為INT8,激活量化為INT8。
圖像生成文本 Transformers 英語
Q
RedHatAI
274
1
Pixtral 12b FP8 Dynamic
Apache-2.0
pixtral-12b-FP8-dynamic 是 mistral-community/pixtral-12b 的量化版本,通過將權重和激活量化為 FP8 數據類型,減少磁盤大小和 GPU 內存需求約 50%,適用於多種語言的商業和研究用途。
文本生成圖像 Safetensors 支持多種語言
P
RedHatAI
87.31k
9
Meta Llama 3.1 70B FP8
Meta-Llama-3.1-70B的FP8量化版本,適用於多語言的商業和研究用途,權重和激活均量化為FP8格式,減少約50%的存儲和內存需求。
大型語言模型 Transformers 支持多種語言
M
RedHatAI
191
2
Meta Llama 3.1 8B FP8
Meta-Llama-3.1-8B的FP8量化版本,適用於多種語言的商業和研究用途。
大型語言模型 Transformers 支持多種語言
M
RedHatAI
4,154
7
Meta Llama 3.1 70B Instruct FP8
Meta-Llama-3.1-70B-Instruct的FP8量化版本,適用於多語言的商業和研究用途,特別適合類似助手的聊天場景。
大型語言模型 Transformers 支持多種語言
M
RedHatAI
71.73k
45
Deepseek Coder V2 Lite Instruct FP8
其他
DeepSeek-Coder-V2-Lite-Instruct的FP8量化版本,適用於英語的商業和研究用途,優化了推理效率。
大型語言模型 Transformers
D
RedHatAI
11.29k
7
Dolphin 2.9 Llama3 70b Awq
Dolphin 2.9 Llama3 70B 的 AWQ 量化版本,適用於 vllm 和其他推理引擎。
大型語言模型 Transformers
D
julep-ai
19
5
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase