Deepseek Ai DeepSeek R1 0528 GGUF

🚀 DeepSeek-R1-0528のLlamacpp imatrix量子化モデル

このプロジェクトは、deepseek-aiによるDeepSeek-R1-0528モデルをllama.cppを用いて量子化したものです。量子化により、モデルのサイズを削減し、メモリ使用量を抑えることができます。

🚀 クイックスタート

この量子化モデルは、LM Studioやllama.cppを使って実行できます。以下の手順に従って、モデルをダウンロードして実行してみましょう。

✨ 主な機能

• 量子化によるメモリ削減：モデルのサイズを大幅に削減し、低メモリ環境でも実行可能にします。
• 高速な推論：量子化により、推論速度を向上させることができます。
• 複数の量子化形式：様々な量子化形式（Q8_0、Q6_K、Q5_K_Mなど）を提供し、ユーザーのニーズに合わせて選択できます。

📦 インストール

huggingface-cliを使ったダウンロード

まず、huggingface-cliをインストールします。

pip install -U "huggingface_hub[cli]"

次に、特定のファイルをダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/deepseek-ai_DeepSeek-R1-0528-GGUF --include "deepseek-ai_DeepSeek-R1-0528-Q4_K_M.gguf" --local-dir ./

モデルが50GB以上の場合は、複数のファイルに分割されています。これらをすべてローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/deepseek-ai_DeepSeek-R1-0528-GGUF --include "deepseek-ai_DeepSeek-R1-0528-Q8_0/*" --local-dir ./

💻 使用例

プロンプト形式

<｜begin▁of▁sentence｜>{system_prompt}<｜User｜>{prompt}<｜Assistant｜>

モデルの選択

どのファイルを選ぶべきか迷った場合は、以下のヒントを参考にしてください。

📚 詳細ドキュメント

ダウンロード可能なファイル一覧

埋め込み/出力の重み

一部の量子化モデル（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みと出力の重みが通常のデフォルト値ではなくQ8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みをメモリ内でインターリーブすることで、ARMおよびAVXマシンでのパフォーマンスを向上させていました。

しかし、現在は重みの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルドb4282以降は、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、少し良い品質を得たい場合は、このPRにより、ARM用に重みを再パッキングするIQ4_NLを使用できます。ただし、現在は4_4のみです。読み込み時間は長くなる可能性がありますが、全体的な速度が向上します。

🔧 技術詳細

• 量子化方法：llama.cppのリリース[a href="https://github.com/ggerganov/llama.cpp/releases/tag/b5524">b5524を使用して量子化を行っています。
• 訓練データ：ここのデータセットを使用してimatrixオプションで量子化を行っています。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

クレジット

• kalomazeとDampfには、imatrixキャリブレーションデータセットの作成に協力してくれたことに感謝します。
• ZeroWwには、埋め込み/出力の実験のインスピレーションを与えてくれたことに感謝します。
• LM Studioには、このプロジェクトの支援をしてくれたことに感謝します。

このプロジェクトをサポートしたい場合は、こちらのko-fiページを訪問してください。