# 高圧縮率

このモデルはgoogle/gemma-3-12b-itをINT4量子化したバージョンで、GPTQアルゴリズムによりパラメータを16ビットから4ビットに削減し、ディスク容量とGPUメモリ要件を大幅に削減しました。

LLaVA-Miniは効率的なマルチモーダル大規模モデルで、1つの視覚トークンだけで画像を表現することで、画像や動画理解の効率を大幅に向上させています。

これはIntel® Neural Compressorを使用して学習後に静的量子化されたINT8 PyTorchモデルで、GoogleのViTモデルを基にファインチューニングされており、高い精度を維持しながら大幅にモデルサイズを削減しています。

MiniLM v2は、マイクロソフトがRoBERTa-Largeを基に知識蒸留を行って得た軽量型言語モデルで、高効率かつコンパクトな特徴を持っています。