# vLLM最適化

google/gemma-3-4b-itに基づく量子化バージョンで、INT4重み量子化とFP16活性化量子化を採用し、推論効率を最適化しています。

このモデルはBielik-4.5B-v3.0-InstructのFP8量子化バージョンで、AutoFP8技術により重みと活性化をFP8データ型に量子化し、ディスク容量とGPUメモリ要件を約50%削減します。

QWQ-32BのINT8量子化バージョン、重みと活性化のビット数を減らして性能を最適化

QwQ-32BのFP8量子化バージョン、動的量子化技術により50%のストレージとメモリ要件を削減、99.75%の元のモデル精度を維持

これはopenai/whisper-large-v3の量子化バージョンで、INT4重み量子化とFP16活性化量子化を採用し、vLLM推論に適しています。

Qwen/Qwen2.5-VL-3B-Instructの量子化バージョンで、視覚-テキスト入力とテキスト出力をサポートし、重みをINT8、活性化をINT8に量子化しています。

pixtral-12b-FP8-dynamicはmistral-community/pixtral-12bの量子化バージョンで、重みと活性化をFP8データ型に量子化することで、ディスク容量とGPUメモリの要件を約50％削減し、複数の言語の商用および研究用途に適しています。

Meta-Llama-3.1-70BのFP8量子化バージョンで、多言語のビジネスや研究用途に適しており、重みと活性化をFP8形式で量子化することで、約50%のストレージとメモリ要件を削減します。

Meta-Llama-3.1-8BのFP8量子化バージョンで、多言語のビジネスや研究用途に適しています。

Meta-Llama-3.1-70B-InstructのFP8量子化バージョンで、多言語の商業および研究用途に適しており、特にアシスタントのようなチャットシナリオに最適です。

DeepSeek-Coder-V2-Lite-InstructのFP8量子化バージョンで、英語の商用および研究用途に適しており、推論効率が最適化されています。

Dolphin 2.9 Llama3 70BのAWQ量子化バージョンで、vllmやその他の推論エンジンに適しています。