# 高スループット推論

Qwen3-235B-A22BモデルのFP8量子化バージョンで、GPUメモリの要件を効果的に削減し、計算スループットを向上させ、さまざまな自然言語処理シナリオに適しています。

QWQ-32BのINT8量子化バージョン、重みと活性化のビット数を減らして性能を最適化

これはLlama-3.3-70B-Instructの量子化バージョンのモデルで、多言語のテキスト生成をサポートし、ビジネスや研究のシーンで使用でき、複数のベンチマークテストで優れた性能を発揮します。

Llama-3.3-70B-Instruct-FP8-dynamicは最適化された大規模言語モデルで、活性化関数と重みをFP8データ型に量子化することで、GPUメモリの必要量を削減し、計算スループットを向上させ、多言語の商用および研究用途をサポートします。