Thedrummer Snowpiercer 15B V1 GGUF

まず、huggingface-cliがインストールされていることを確認してください:

pip install -U "huggingface_hub[cli]"

次に、特定のファイルをターゲットにできます:

huggingface-cli download bartowski/TheDrummer_Snowpiercer-15B-v1-GGUF --include "TheDrummer_Snowpiercer-15B-v1-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。それらすべてをローカルフォルダにダウンロードするには、次のコマンドを実行します:

huggingface-cli download bartowski/TheDrummer_Snowpiercer-15B-v1-GGUF --include "TheDrummer_Snowpiercer-15B-v1-Q8_0/*" --local-dir ./

新しいlocal-dir（TheDrummer_Snowpiercer-15B-v1-Q8_0）を指定するか、すべてをその場（./）にダウンロードできます。

このセクションは、Q4_0とオンライン再パッキングを使用した場合の潜在的な理論的なパフォーマンス向上を示すために保持しています。

Artefact2によるさまざまなパフォーマンスを示すチャートを含む素晴らしい説明がこちらにあります。

最初に、実行できるモデルの大きさを把握する必要があります。これには、RAMやVRAMの量を把握する必要があります。

モデルを可能な限り高速に実行したい場合は、モデル全体をGPUのVRAMに収める必要があります。GPUの総VRAMよりも1-2GB小さい量子化を目指してください。

絶対的な最高品質を求めたい場合は、システムRAMとGPUのVRAMを合計し、同様に合計より1-2GB小さい量子化を選択してください。

次に、「I-quant」または「K-quant」のどちらを使用するかを決定する必要があります。

あまり考えたくない場合は、K-quantのいずれかを選択してください。これらは「QX_K_X」形式で、例えばQ5_K_Mなどです。

さらに詳しく知りたい場合は、この非常に便利な機能チャートを確認してください:

llama.cpp機能マトリックス

基本的に、Q4以下を目指していて、cuBLAS（Nvidia）またはrocBLAS（AMD）を実行している場合は、I-quantを検討する必要があります。これらは「IQX_X」形式で、例えばIQ3_Mなどです。これらは新しく、サイズに対してより良いパフォーマンスを提供します。

これらのI-quantはCPUでも使用できますが、K-quant相当よりも遅くなるため、速度とパフォーマンスのトレードオフを決定する必要があります。