Andrewzh Absolute Zero Reasoner Coder 14b GGUF

まず、huggingface-cliがインストールされていることを確認してください:

pip install -U "huggingface_hub[cli]"

次に、特定のファイルを指定してダウンロードできます:

huggingface-cli download bartowski/andrewzh_Absolute_Zero_Reasoner-Coder-14b-GGUF --include "andrewzh_Absolute_Zero_Reasoner-Coder-14b-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。それらをすべてローカルフォルダにダウンロードするには、以下を実行します:

huggingface-cli download bartowski/andrewzh_Absolute_Zero_Reasoner-Coder-14b-GGUF --include "andrewzh_Absolute_Zero_Reasoner-Coder-14b-Q8_0/*" --local-dir ./

新しいlocal-dir（andrewzh_Absolute_Zero_Reasoner-Coder-14b-Q8_0）を指定するか、すべてをその場（./）にダウンロードできます

このセクションは、Q4_0とオンライン再パッキングを使用した場合の潜在的な理論的性能向上を示すために保持しています。

さまざまな性能を示すチャートを含む優れた説明がArtefact2によってこちらに提供されています

まず、実行できるモデルの大きさを把握する必要があります。これには、RAMやVRAMの量を把握する必要があります。

モデルを可能な限り高速に実行したい場合は、モデル全体をGPUのVRAMに収める必要があります。GPUの総VRAMより1-2GB小さい量子化を選択してください。

絶対的な最高品質を求めたい場合は、システムRAMとGPUのVRAMを合計し、同様に合計より1-2GB小さい量子化を選択してください。

次に、「I-quant」または「K-quant」のどちらを使用するかを決定する必要があります。

あまり考えたくない場合は、K-quantのいずれかを選択してください。これらは「QX_K_X」形式で、例えばQ5_K_Mなどです。

さらに詳しく知りたい場合は、この非常に便利な機能マトリックスを確認してください:

llama.cpp feature matrix

基本的に、Q4以下を目指していて、cuBLAS（Nvidia）またはrocBLAS（AMD）を実行している場合は、I-quantを検討する必要があります。これらは「IQX_X」形式で、例えばIQ3_Mなどです。これらは新しく、サイズに対してより良い性能を提供します。

これらのI-quantはCPUでも使用できますが、K-quant相当よりも遅くなるため、速度と性能のトレードオフを決定する必要があります。