Delta Vector Austral 70B Winton GGUF

🚀 Delta-VectorのAustral-70B-WintonのLlamacpp imatrix量子化バージョン

このプロジェクトは、Delta-VectorのAustral-70B-Wintonモデルに対する量子化処理を行ったものです。量子化技術を利用することで、モデルの保存と計算に必要なリソースをある程度削減し、同時に良好な性能を維持することができ、リソースに制限のあるシーンに適しています。

🔍 基本情報

🚀 クイックスタート

llama.cpp の b5753 バージョンを使用して量子化を行います。 元のモデルのアドレス：https://huggingface.co/Delta-Vector/Austral-70B-Winton すべての量子化モデルはimatrixオプションを使用し、ここ のデータセットを組み合わせて生成されています。 これらの量子化モデルは、LM Studio で実行することもできますし、直接 llama.cpp または他のllama.cppベースのプロジェクトを使用して実行することもできます。

✨ 主な機能

プロンプト形式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

ファイルのダウンロード

以下のリストから単一のファイル（ブランチ全体ではなく）をダウンロードすることができます。

埋め込み/出力の重み

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は標準的な量子化方法を採用していますが、その埋め込みと出力の重みは通常のデフォルト値ではなく、Q8_0に量子化されています。

📦 インストール

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/Delta-Vector_Austral-70B-Winton-GGUF --include "Delta-Vector_Austral-70B-Winton-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/Delta-Vector_Austral-70B-Winton-GGUF --include "Delta-Vector_Austral-70B-Winton-Q8_0/*" --local-dir ./

🔧 技術詳細

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードしていました。これらのモデルの重みはメモリ内で交差配置され、ARMおよびAVXマシンの性能を向上させるために一度により多くのデータをロードできるようになっていました。

しかし、現在では「オンライン再パッキング」と呼ばれる重み処理方法があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングから恩恵を受ける場合、自動的にリアルタイムで処理されます。

llama.cppのビルドバージョン b4282 以降では、Q4_0_X_Xファイルを実行することはできず、Q4_0を使用する必要があります。

また、少し良い品質を得たい場合は、IQ4_NLを使用することができます。このPR のおかげで、ARM用に重みが再パッキングされますが、現在は4_4のみです。ロード時間は長くなる可能性がありますが、全体的な速度が向上します。

適切なファイルの選択方法

📄 ライセンス

このプロジェクトはapache-2.0ライセンスの下で提供されています。

🙏 謝辞

kalomazeとDampfがimatrixキャリブレーションデータセットの作成に協力してくれたことに感謝します。 ZeroWwが埋め込み/出力実験にインスピレーションを与えてくれたことに感謝します。 LM Studioが私の仕事を支援してくれたことに感謝します。

私の仕事を支援したい場合は、私のko-fiページを訪問してください。https://ko-fi.com/bartowski