# FP8量化推理

Qwen3-32B-FP8是通義千問系列最新一代32.8B參數大語言模型，支持思維與非思維模式切換，具備卓越的推理、指令遵循和智能體能力。

Qwen3-8B-FP8是通義千問系列大語言模型的最新版本，提供FP8量化版本，支持思維模式與非思維模式的無縫切換，具備強大的推理能力和多語言支持。

Qwen2.5-VL-72B-Instruct的FP8量化版本，支持視覺-文本輸入和文本輸出，由Neural Magic優化發佈。

170億參數開源圖像生成基礎模型，支持多種風格，生成速度快且質量高

Meta Llama 3.1 8B Instruct模型的FP8量化版本，採用優化的transformer架構的自迴歸語言模型，支持128K上下文長度。

Meta-Llama-3.1-405B-Instruct的FP8量化版本，適用於多語言的商業和研究用途，特別優化用於助手機器人場景。

Meta-Llama-3-8B-Instruct模型經過FP8權重和激活值的逐張量量化，適用於vLLM >= 0.5.0進行推理。該模型檢查點還包含FP8量化KV緩存的逐張量縮放參數。