Nera Noctis 12B GGUF

🚀 Nera_Noctis-12BのLlamacpp imatrix量子化

このプロジェクトでは、llama.cppのリリース b4404 を使用して、Nera_Noctis-12Bモデルの量子化を行っています。量子化に使用するデータセットはこちらから取得し、すべての量子化モデルはimatrixオプションを使用して作成されています。これらのモデルはLM Studioで実行できます。

元のモデル

• 元のモデルはこちらから確認できます。

✨ 主な機能

• 量子化: llama.cppを使用した高精度の量子化処理。
• 互換性: LM Studioでの実行が可能。
• 多様な量子化形式: 様々な量子化形式のモデルが用意されています。

📦 インストール

huggingface-cliを使用したダウンロード

まず、huggingface-cliがインストールされていることを確認してください。以下のコマンドでインストールできます。

pip install -U "huggingface_hub[cli]"

特定のファイルをダウンロードするには、以下のコマンドを使用します。

huggingface-cli download bartowski/Nera_Noctis-12B-GGUF --include "Nera_Noctis-12B-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合は、複数のファイルに分割されています。すべてのファイルをローカルフォルダにダウンロードするには、以下のコマンドを使用します。

huggingface-cli download bartowski/Nera_Noctis-12B-GGUF --include "Nera_Noctis-12B-Q8_0/*" --local-dir ./

新しいローカルディレクトリ（Nera_Noctis-12B-Q8_0）を指定するか、すべてのファイルを現在のディレクトリ（./）にダウンロードすることができます。

💻 使用例

プロンプトフォーマット

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 ドキュメント

ファイルのダウンロード

以下の表からファイル（ブランチ全体ではなく）をダウンロードできます。

埋め込み/出力ウェイト

一部の量子化（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みと出力ウェイトが通常のデフォルトではなくQ8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、メモリ内でウェイトをインターリーブすることで、ARMおよびAVXマシンでのパフォーマンスを向上させていました。

しかし、現在では、ウェイトの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアがウェイトの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルド b4282 以降では、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRにより、ARM用にウェイトを再パッキングするIQ4_NLを使用することで、少し品質を向上させることができます。ただし、現在は4_4のみです。読み込み時間は長くなる可能性がありますが、全体的な速度が向上します。

どのファイルを選べばいいですか？

まず、実行できるモデルのサイズを決定する必要があります。これには、使用可能なRAMおよび/またはVRAMの量を確認する必要があります。

モデルをできるだけ高速に実行したい場合は、モデル全体をGPUのVRAMに収めることを目指してください。GPUの総VRAMよりも1 - 2GB小さいファイルサイズの量子化を選択してください。

最高の品質を求める場合は、システムRAMとGPUのVRAMを合計し、その合計よりも1 - 2GB小さいファイルサイズの量子化を選択してください。

次に、「I-quant」または「K-quant」を使用するかを決定する必要があります。

あまり考えたくない場合は、K-quantのいずれかを選択してください。これらは「QX_K_X」形式で、Q5_K_Mのようなものです。

もっと詳細に調べたい場合は、この非常に便利な機能チャートを確認できます。 llama.cpp feature matrix

基本的に、Q4以下を目指し、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I-quantを検討する必要があります。これらはIQX_X形式で、IQ3_Mのようなものです。これらは新しく、サイズに対してより良いパフォーマンスを提供します。

これらのI-quantはCPUおよびApple Metalでも使用できますが、同等のK-quantよりも遅くなります。したがって、速度とパフォーマンスのトレードオフを決定する必要があります。

I-quantはVulcan（AMD）と互換性がありません。したがって、AMDカードを使用している場合は、rocBLASビルドまたはVulcanビルドを使用しているかを確認してください。この記事の執筆時点では、LM StudioにはROCmサポートのプレビューがあり、他の推論エンジンにはROCm用の特定のビルドがあります。

🔧 技術詳細

Q4_0_X_X情報（非推奨）

このセクションは、オンライン再パッキングを使用したQ4_0の潜在的な理論的なパフォーマンス向上を示すために残しています。

AVX2システム（EPYC7702）でのベンチマーク

Q4_0_8_8は、プロンプト処理に大きな改善をもたらし、テキスト生成にも小幅な改善をもたらします。

📄 ライセンス

このプロジェクトのライセンスは「other」です。

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験のインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事をサポートしたい場合は、こちらのko-fiページを訪問してください：https://ko-fi.com/bartowski