# 低VRAM使用量

Moondreamは軽量級のビジュアル言語モデルで、効率的な全プラットフォーム実行のために設計されています。2025年4月14日にリリースされた4ビット量子化版は、高い精度を維持しながらメモリ使用量を大幅に削減しました。

Falcon-EはTIIが開発した1.58ビット量子化言語モデルで、純粋なTransformerアーキテクチャを採用し、効率的な推論のために設計されています

Phi-4-mini-instructモデルはtorchaoによるfloat8動的活性化と重みの量子化を経ており、H100上で36%のVRAM削減と15-20%の速度向上を実現し、精度にはほとんど影響を与えません。

Qwen2.5-VL-7B-Instruct-GPTQ-Int4はQwen2.5-VL-7B-Instructモデルを非公式にGPTQ-Int4量子化したバージョンで、画像からテキストへのマルチモーダルタスクをサポートします。

Llama-3.2-3B事前学習モデルの命令ファインチューニング版で、4ビット量子化とLoRA技術を採用した効率的なファインチューニング

Flux.1 LiteはFLUX.1-devモデルから蒸留された80億パラメータのTransformerモデルで、7GBのメモリ使用量を削減し、実行速度を23%向上させながら、元のモデルの精度を維持しています。

Llama-3.2-3B-InstructのFP8量子化バージョンで、多言語の商業および研究用途に適しており、特にアシスタントのようなチャットシナリオに最適です。

bigscience/bloom-1b7アーキテクチャに基づいて開発された中国語言語モデル、14億パラメータ規模、語彙表圧縮によりVRAM使用量を削減