Baidu ERNIE 4.5 21B A3B PT GGUF

🚀 baiduのERNIE-4.5-21B-A3B-PTのLlamacpp imatrix量子化

このプロジェクトは、baiduのERNIE-4.5-21B-A3B-PTモデルをllama.cppを使用して量子化したものです。量子化により、モデルのサイズを削減し、メモリ使用量を抑えることができます。

🚀 クイックスタート

• モデルのダウンロード：以下の表から必要なファイルを選択し、ダウンロードしてください。
• モデルの実行：LM Studio または llama.cpp を使用して、モデルを実行できます。

✨ 主な機能

• 多様な量子化タイプ：BF16、Q8_0、Q6_K_Lなど、様々な量子化タイプが用意されています。
• 高速な推論：量子化により、モデルの推論速度を向上させることができます。
• 柔軟なダウンロード方法：huggingface-cliを使用して、特定のファイルをダウンロードできます。

📦 インストール

huggingface-cliを使用したダウンロード

まず、huggingface-cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

次に、特定のファイルをダウンロードすることができます。

huggingface-cli download bartowski/baidu_ERNIE-4.5-21B-A3B-PT-GGUF --include "baidu_ERNIE-4.5-21B-A3B-PT-Q4_K_M.gguf" --local-dir ./

モデルが50GB以上の場合、複数のファイルに分割されています。すべてのファイルをローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/baidu_ERNIE-4.5-21B-A3B-PT-GGUF --include "baidu_ERNIE-4.5-21B-A3B-PT-Q8_0/*" --local-dir ./

新しいローカルディレクトリを指定するか、すべてのファイルを現在のディレクトリにダウンロードすることができます。

📚 ドキュメント

プロンプトフォーマット

プロンプトフォーマットは見つかりませんでした。元のモデルページを確認してください。

ダウンロードファイル一覧

埋め込み/出力重み

一部の量子化（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みと出力重みが通常のデフォルト値ではなくQ8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、ARMおよびAVXマシンでのパフォーマンスを向上させるために、重みをメモリ内でインターリーブしていました。

しかし、現在では、重みの「オンライン再パッキング」というものがあります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングに恩恵を受ける場合、自動的に実行されます。

llama.cppビルド b4282 以降、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。

さらに、このPR により、IQ4_NLを使用すると、ARM用に重みを再パッキングすることができ、少し品質を向上させることができます。ただし、現在は4_4のみです。読み込み時間は遅くなる可能性がありますが、全体的な速度が向上します。

どのファイルを選べばいいですか？

まず、実行できるモデルのサイズを決定する必要があります。これには、利用可能なRAMおよび/またはVRAMの量を把握する必要があります。

可能な限り高速にモデルを実行したい場合は、モデル全体をGPUのVRAMに収めることを目指します。GPUの総VRAMよりも1-2GB小さいファイルサイズの量子化を選択してください。

最高の品質を求める場合は、システムRAMとGPUのVRAMを合計し、その合計よりも1-2GB小さいファイルサイズの量子化を選択してください。

次に、「I-量子化」または「K-量子化」を使用するかを決定する必要があります。

あまり考えたくない場合は、K-量子化のいずれかを選択してください。これらは 'QX_K_X' 形式で、Q5_K_Mのようなものです。

もっと詳細を知りたい場合は、この非常に便利な機能チャートを確認することができます。

llama.cpp feature matrix

基本的に、Q4以下を目指していて、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I-量子化を検討してください。これらはIQX_X形式で、IQ3_Mのようなものです。これらは新しく、サイズに対してより良いパフォーマンスを提供します。

これらのI-量子化はCPUでも使用できますが、同等のK-量子化よりも遅くなります。したがって、速度とパフォーマンスのトレードオフを決定する必要があります。

🔧 技術詳細

• 量子化方法：llama.cpp のリリース b5924 を使用して量子化を行いました。
• データセット：量子化に使用するデータセットは ここ から取得しました。

📄 ライセンス

このプロジェクトの詳細なライセンス情報は提供されていません。

クレジット

• kalomazeとDampfには、imatrixキャリブレーションデータセットの作成に協力してくれたことに感謝します。
• ZeroWwには、埋め込み/出力の実験のインスピレーションを与えてくれたことに感謝します。
• LM Studioには、私の仕事を支援してくれたことに感謝します。

私の仕事を支援したい場合は、こちらのko-fiページを訪問してください：https://ko-fi.com/bartowski