Delta Vector Austral 24B Winton GGUF

🚀 Delta-VectorによるAustral-24B-WintonのLlamacpp imatrix量子化

このプロジェクトは、Delta-VectorによるAustral-24B-Wintonモデルの量子化バージョンを提供します。量子化にはllama.cppを使用しており、様々な量子化タイプのモデルを提供しています。

🚀 クイックスタート

量子化には、llama.cppのリリース b5669 を使用しています。 元のモデルはこちら: https://huggingface.co/Delta-Vector/Austral-24B-Winton

すべての量子化モデルは、ここ のデータセットを使用して、imatrixオプションで作成されています。

実行方法

• LM Studio で実行することができます。
• llama.cpp または他のllama.cppベースのプロジェクトで直接実行することもできます。

✨ 主な機能

• 様々な量子化タイプのモデルを提供し、メモリ使用量と性能のバランスを調整できます。
• 一部の量子化モデルは、埋め込みと出力の重みをQ8_0に量子化しており、高品質な出力を提供します。
• ARMとAVXマシンでの性能向上のためのオンライン再パッキング機能をサポートしています。

📦 インストール

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/Delta-Vector_Austral-24B-Winton-GGUF --include "Delta-Vector_Austral-24B-Winton-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/Delta-Vector_Austral-24B-Winton-GGUF --include "Delta-Vector_Austral-24B-Winton-Q8_0/*" --local-dir ./

💻 使用例

プロンプトフォーマット

チャットテンプレートが指定されていないため、デフォルトのものが使用されます。これは正しくない場合があるため、元のモデルカードを確認してください。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 ドキュメント

ダウンロードファイルの選択

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされていました。これは、ARMおよびAVXマシンでの性能を向上させるために、一度により多くのデータを読み込むことができるようにするためです。

しかし、現在は重みの「オンライン再パッキング」と呼ばれる機能があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルド b4282 以降、Q4_0_X_Xファイルを実行することはできなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPR により、IQ4_NLを使用すると、ARM用に重みを再パッキングすることができ、少し品質を向上させることができます。ただし、現在は4_4のみです。読み込み時間は遅くなる可能性がありますが、全体的な速度が向上します。

埋め込み/出力重み

これらの量子化モデルの一部 (Q3_K_XL、Q4_K_Lなど) は、標準的な量子化方法で、埋め込みと出力の重みが通常のデフォルトではなくQ8_0に量子化されています。

ダウンロード可能なファイル

🔧 技術詳細

この量子化プロセスでは、llama.cpp のリリース b5669 を使用しています。特定のデータセットとimatrixオプションを用いて、様々な量子化タイプのモデルを生成しています。

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で提供されています。

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験のインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事を支援してくれたLM Studioに感謝します。

私の仕事をサポートしたい場合は、こちらのko-fiページを訪問してください: https://ko-fi.com/bartowski