# 高効率な量子化

NVIDIA Llama-3.1-Nemotron-Nano-4B-v1.1モデルを基にした量子化バージョンで、llama.cppツールを使用して様々な量子化処理が施されており、リソースが限られた環境での実行に適しています。

このモデルは独自の量子化処理を施しており、出力と埋め込みテンソルはf16形式で量子化され、その他のテンソルはq5_kまたはq6_k形式で量子化されています。これにより、体積が小さくなりながらも、純粋なf16と同等の性能を維持しています。

Qwen3-4B-abliteratedの量子化バージョンで、llama.cppを使用して量子化されており、複数の量子化タイプをサポートし、テキスト生成タスクに適しています。

Qwen/Qwen3-1.7Bを基にした量子化バージョンで、llama.cppを使用して量子化されており、複数の量子化タイプをサポートし、テキスト生成タスクに適しています。

Gemmasutra-Small-4B-v1は4Bパラメータのテキスト生成モデルで、llama.cppに基づいて量子化されており、さまざまな量子化バージョンの選択が可能です。