Mistral Community Pixtral 12b GGUF

まず、huggingface-cliがインストールされていることを確認してください:

pip install -U "huggingface_hub[cli]"

次に、特定のファイルを指定してダウンロードできます:

huggingface-cli download bartowski/mistral-community_pixtral-12b-GGUF --include "mistral-community_pixtral-12b-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。すべてをローカルフォルダにダウンロードするには、次のコマンドを実行します:

huggingface-cli download bartowski/mistral-community_pixtral-12b-GGUF --include "mistral-community_pixtral-12b-Q8_0/*" --local-dir ./

新しいlocal-dir（mistral-community_pixtral-12b-Q8_0）を指定するか、すべてを現在のディレクトリ（./）にダウンロードできます。

このセクションは、Q4_0とオンライン再パッキングを使用した場合の理論的なパフォーマンス向上を示すために保持しています。

Artefact2によるさまざまなパフォーマンスを示すチャート付きの優れた説明がこちらにあります。

まず、実行可能なモデルのサイズを把握する必要があります。これには、RAMおよび/またはVRAMの量を把握する必要があります。

モデルを可能な限り高速に実行したい場合は、モデル全体をGPUのVRAMに収める必要があります。GPUの総VRAMより1-2GB小さい量子化を選択してください。

絶対的な最高品質を求めたい場合は、システムRAMとGPUのVRAMを合計し、同様に合計より1-2GB小さい量子化を選択してください。

次に、「I-quant」または「K-quant」のどちらを使用するかを決定する必要があります。

あまり考えたくない場合は、K-quantのいずれかを選択してください。これらは「QX_K_X」形式で、例えばQ5_K_Mなどです。

さらに詳しく知りたい場合は、この非常に便利な機能チャートを確認してください:

llama.cpp機能マトリックス

基本的に、Q4以下を目指し、cuBLAS（Nvidia）またはrocBLAS（AMD）を実行している場合は、I-quantを検討してください。これらは「IQX_X」形式で、例えばIQ3_Mなどです。これらは新しく、サイズに対してより優れたパフォーマンスを提供します。

これらのI-quantはCPUでも使用できますが、K-quantの同等品よりも遅くなるため、速度とパフォーマンスのトレードオフを決定する必要があります。