Thedrummer Cydonia 24B V3 GGUF

🚀 TheDrummerによるCydonia-24B-v3のLlamacpp imatrix量子化

このプロジェクトは、TheDrummerによるCydonia-24B-v3モデルの量子化バージョンを提供します。量子化にはllama.cppを使用しており、様々な量子化形式のモデルを提供しています。

🚀 クイックスタート

量子化に使用された情報

• 量子化担当者: bartowski
• パイプラインタグ: text-generation
• ベースモデル: TheDrummer/Cydonia-24B-v3
• ベースモデルの関係: 量子化
• ライセンス: other

量子化方法

llama.cpp のリリース b5568 を使用して量子化を行っています。すべての量子化は、ここ のデータセットを用いてimatrixオプションで作成されています。

モデルの実行方法

• LM Studio で実行することができます。
• llama.cpp または他のllama.cppベースのプロジェクトで直接実行することもできます。

✨ 主な機能

• 様々な量子化形式のCydonia-24B-v3モデルを提供しています。
• モデルのダウンロード方法や実行方法が明確に記載されています。

📦 インストール

huggingface-cliを使用したダウンロード

まず、huggingface-cliをインストールします。

pip install -U "huggingface_hub[cli]"

特定のファイルをダウンロードするには、以下のコマンドを使用します。

huggingface-cli download bartowski/TheDrummer_Cydonia-24B-v3-GGUF --include "TheDrummer_Cydonia-24B-v3-Q4_K_M.gguf" --local-dir ./

モデルが50GB以上の場合、複数のファイルに分割されています。すべてのファイルをローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/TheDrummer_Cydonia-24B-v3-GGUF --include "TheDrummer_Cydonia-24B-v3-Q8_0/*" --local-dir ./

新しいローカルディレクトリを指定するか、現在のディレクトリ (./) にダウンロードすることができます。

💻 使用例

モデルの選択

どのファイルを選ぶべきかについては、以下の点を考慮してください。

• メモリ容量: まず、実行できるモデルのサイズを決定するために、システムのRAMとGPUのVRAMの容量を確認します。
  • できるだけ高速にモデルを実行したい場合: GPUのVRAMにすべてのモデルを収めることができるように、GPUの総VRAMよりも1 - 2GB小さいファイルサイズの量子化モデルを選びます。
  • 最高の品質を求める場合: システムのRAMとGPUのVRAMを合計し、その合計よりも1 - 2GB小さいファイルサイズの量子化モデルを選びます。
• 量子化形式: 'I-quant' または 'K-quant' を使用するかを決定します。
  • あまり考えたくない場合: 'QX_K_X' 形式のK-quantを選びます。例えば、Q5_K_M。
  • 詳細を調べたい場合: llama.cpp feature matrix を参照してください。基本的に、Q4以下の量子化を目指し、cuBLAS (Nvidia) またはrocBLAS (AMD) を使用している場合は、'IQX_X' 形式のI-quantを検討してください。例えば、IQ3_M。これらは新しく、サイズに対してより良いパフォーマンスを提供します。ただし、CPUで使用する場合、K-quantよりも遅くなる可能性があります。

ダウンロード

特定のファイルをダウンロードするには、以下のコマンドを使用します。

huggingface-cli download bartowski/TheDrummer_Cydonia-24B-v3-GGUF --include "TheDrummer_Cydonia-24B-v3-Q4_K_M.gguf" --local-dir ./

📚 詳細ドキュメント

プロンプト形式

プロンプト形式は見つかりませんでした。元のモデルページを確認してください。

ダウンロード可能なファイル

エンベッド/出力ウェイト

一部の量子化形式 (Q3_K_XL、Q4_K_Lなど) は、標準的な量子化方法を使用しており、エンベッドと出力ウェイトが通常のデフォルト値ではなくQ8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、ARMおよびAVXマシンでのパフォーマンスを向上させるために、メモリ内でウェイトをインターリーブしていました。しかし、現在は「オンライン再パッキング」と呼ばれる機能があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアがウェイトの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルド b4282 以降、Q4_0_X_Xファイルを実行することはできなくなり、代わりにQ4_0を使用する必要があります。

また、このPR により、ARM用にウェイトを再パッキングするIQ4_NLを使用することで、少し良い品質を得ることができます。ただし、現在は4_4のみサポートされています。ロード時間は遅くなる可能性がありますが、全体的な速度が向上します。

🔧 技術詳細

量子化には llama.cpp の b5568 リリースを使用しています。すべての量子化は、ここ のデータセットを用いてimatrixオプションで作成されています。

📄 ライセンス

このプロジェクトのライセンスは 'other' です。

クレジット

• kalomazeとDampfには、imatrixキャリブレーションデータセットの作成における支援に感謝します。
• ZeroWwには、エンベッド/出力の実験へのインスピレーションに感謝します。
• LM Studioには、私の仕事を支援してくれたことに感謝します。

私の仕事をサポートしたい場合は、こちらのko-fiページを訪問してください: https://ko-fi.com/bartowski