# 高吞吐推理

Qwen3-235B-A22B模型的FP8量化版本，有效降低GPU內存需求，提高計算吞吐量，適用於多種自然語言處理場景。

QWQ-32B的INT8量化版本，通過減少權重和激活的表示位數來優化性能

這是Llama-3.3-70B-Instruct的量化版本模型，支持多語言文本生成，可用於商業和研究場景，在多個基準測試中表現出色。

Llama-3.3-70B-Instruct-FP8-dynamic 是經過優化的大語言模型，通過將激活和權重量化為 FP8 數據類型，減少了 GPU 內存需求並提高了計算吞吐量，支持多語言的商業和研究用途。