# vLLMによる効率的なデプロイ

量子化処理を施したDeepSeek-R1-0528モデルで、重みをINT4データ型に量子化することで、GPUメモリとディスク容量の要件を大幅に削減します。

Qwen2.5-VL-32B-InstructモデルをベースとしたFP8量子化バージョンで、ビジュアル - テキスト入力とテキスト出力をサポートし、効率的な推論シーンに適しています。

これはgoogle/gemma-3-27b-itの量子化バージョンで、FP8データ型を使用して重みを量子化し、ビジュアル - テキスト入力を受け取り、テキストを出力するのに適しており、vLLMによる効率的なデプロイで推論が可能です。