Thedrummer Anubis 70B V1.1 GGUF

🚀 TheDrummerのAnubis-70B-v1.1のLlamacpp imatrix量子化バージョン

本プロジェクトは、TheDrummerのAnubis-70B-v1.1モデルを量子化したバージョンです。llama.cpp の b5753 バージョンを使用して量子化を行っています。このプロジェクトの目的は、さまざまなハードウェア条件や使用シーンのニーズに合わせた、異なる量子化レベルのモデルファイルを提供することです。

🚀 クイックスタート

実行方法

• LM Studio でこれらの量子化モデルを実行することができます。
• llama.cpp またはllama.cppをベースとした任意のプロジェクトを直接使用して実行することもできます。

プロンプト形式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 26 Jul 2024

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

✨ 主な機能

• 複数の量子化タイプ：Q8_0、Q6_K、Q5_K_Mなど、さまざまな量子化タイプを提供しており、異なるハードウェアリソースとパフォーマンス要件に対応しています。
• オンライン再パッケージ化：一部の量子化タイプでは、オンライン再パッケージ化がサポートされており、ARMとAVXマシンのパフォーマンスを自動的に最適化することができます。
• 特定の重み処理：一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）では、埋め込みと出力の重みをQ8_0に量子化することで、品質を向上させています。

📦 インストール

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/TheDrummer_Anubis-70B-v1.1-GGUF --include "TheDrummer_Anubis-70B-v1.1-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/TheDrummer_Anubis-70B-v1.1-GGUF --include "TheDrummer_Anubis-70B-v1.1-Q8_0/*" --local-dir ./

📚 ドキュメント

モデルファイルのダウンロード

埋め込み/出力の重み

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）では、標準的な量子化方法を採用しており、通常のデフォルト値ではなく、埋め込みと出力の重みをQ8_0に量子化しています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8ファイルをダウンロードすることがありました。これらのファイルの重みは、メモリ内で交差配置されており、より多くのデータを一度にロードすることで、ARMとAVXマシンのパフォーマンスを向上させていました。

しかし、現在では「オンライン再パッケージ化」と呼ばれる重み処理方法があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッケージ化から恩恵を受ける場合、自動的にリアルタイムで再パッケージ化が行われます。

llama.cppのビルドバージョン b4282 以降では、Q4_0_X_Xファイルを実行することはできず、Q4_0を使用する必要があります。

また、少し良い品質を得たい場合は、IQ4_NLを使用することができます。 このPR のおかげで、ARM用に重みを再パッケージ化することもできますが、現在は4_4にのみ適用されます。ロード時間は長くなる可能性がありますが、全体的な速度は向上します。

ファイルの選択方法

謝辞

kalomazeとDampfがimatrixキャリブレーションデータセットの作成を支援してくれたことに感謝します。

ZeroWwが埋め込み/出力実験のアイデアを提供してくれたことに感謝します。

LM Studioがこのプロジェクトを支援してくれたことに感謝します。

作者の活動を支援したい場合は、作者のko-fiページにアクセスしてください：https://ko-fi.com/bartowski