# FP8量子化推論

Qwen3-32B-FP8は通義千問シリーズ最新世代の32.8Bパラメータ大規模言語モデルで、思考モードと非思考モードの切り替えをサポートし、優れた推論能力、指示追従能力、エージェント能力を備えています。

Qwen3-8B-FP8は通義千問シリーズの大規模言語モデルの最新バージョンで、FP8量子化バージョンを提供し、思考モードと非思考モードのシームレスな切り替えをサポートし、強力な推論能力と多言語サポートを備えています。

Qwen2.5-VL-72B-InstructのFP8量子化バージョンで、視覚-テキスト入力とテキスト出力をサポートし、Neural Magicによって最適化・公開されています。

170億パラメータのオープンソース画像生成基盤モデル、多様なスタイルをサポートし、生成速度が速く品質が高い

Meta Llama 3.1 8B InstructモデルのFP8量子化バージョン、最適化されたtransformerアーキテクチャの自己回帰型言語モデルで、128Kのコンテキスト長をサポートします。

Meta-Llama-3.1-405B-InstructのFP8量子化バージョンで、多言語の商業および研究用途に適しており、特にアシスタントロボットシナリオ向けに最適化されています。

Meta-Llama-3-8B-InstructモデルはFP8重みと活性化値のテンソルごとの量子化を施しており、vLLM >= 0.5.0での推論に適しています。このモデルチェックポイントにはFP8量子化KVキャッシュのテンソルごとのスケーリングパラメータも含まれています。