Dreamgen Lucid V1 Nemo GGUF

まず、huggingface-cliがインストールされていることを確認:

pip install -U "huggingface_hub[cli]"

次に、特定のファイルを指定してダウンロード:

huggingface-cli download bartowski/dreamgen_lucid-v1-nemo-GGUF --include "dreamgen_lucid-v1-nemo-Q4_K_M.gguf" --local-dir ./

モデルが50GBより大きい場合、複数ファイルに分割されています。すべてをローカルフォルダにダウンロードするには:

huggingface-cli download bartowski/dreamgen_lucid-v1-nemo-GGUF --include "dreamgen_lucid-v1-nemo-Q8_0/*" --local-dir ./

新しいlocal-dir（dreamgen_lucid-v1-nemo-Q8_0）を指定するか、すべてをその場（./）にダウンロードできます

このセクションは、Q4_0とオンライン再パッキングを使用した場合の理論的なパフォーマンス向上を示すために保持しています。

Artefact2によるパフォーマンス比較の素晴らしい解説とチャートがこちらにあります

最初に、実行可能なモデルのサイズを把握する必要があります。これには、RAMやVRAMの量を確認する必要があります。

可能な限り高速にモデルを実行したい場合、GPUのVRAM全体にモデルを収める必要があります。GPUの総VRAMより1-2GB小さい量子化を選択してください。

最高品質を求める場合、システムRAMとGPUのVRAMを合計し、同様に合計より1-2GB小さい量子化を選択してください。

次に、「I-quant」か「K-quant」を使用するか決める必要があります。

あまり考えたくない場合は、K-quantのいずれかを選択してください。形式は「QX_K_X」で、Q5_K_Mなどです。

さらに詳しく知りたい場合は、この非常に便利な機能マトリックスを確認してください:

llama.cpp機能マトリックス

基本的に、Q4以下を目指し、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I-quantを検討してください。形式はIQX_Xで、IQ3_Mなどです。これらは新しく、サイズに対してより優れたパフォーマンスを提供します。

これらのI-quantはCPUでも使用できますが、K-quant相当より遅くなるため、速度とパフォーマンスのトレードオフを考慮する必要があります。