# 高吞吐推理

Qwen3-235B-A22B模型的FP8量化版本，有效降低GPU内存需求，提高计算吞吐量，适用于多种自然语言处理场景。

QWQ-32B的INT8量化版本，通过减少权重和激活的表示位数来优化性能

这是Llama-3.3-70B-Instruct的量化版本模型，支持多语言文本生成，可用于商业和研究场景，在多个基准测试中表现出色。

Llama-3.3-70B-Instruct-FP8-dynamic 是经过优化的大语言模型，通过将激活和权重量化为 FP8 数据类型，减少了 GPU 内存需求并提高了计算吞吐量，支持多语言的商业和研究用途。