Deepseek V2 Chat GGUF

🚀 DeepSeek-V2-Chat-GGUF

DeepSeek-V2-Chat-GGUFは、DeepSeek-V2-Chatを量子化したモデルです。llama.cppを使用して量子化されており、様々な量子化形式で利用できます。

https://huggingface.co/deepseek-ai/DeepSeek-V2-Chat から量子化されています。

量子化にはllama.cpp b3026 を使用しています。llama.cppのビルドが頻繁にリリースされるため、これは時間とともに変更される可能性があります。

以下のメタデータKVオーバーライドを設定してください。

🚀 クイックスタート

ダウンロード方法

bf16のダウンロード

• 関連するディレクトリを見つけます。
• すべてのファイルをダウンロードします。
• merge.pyを実行します。
• マージされたGGUFが表示されます。

量子化モデルのダウンロード

• 関連するディレクトリを見つけます。
• すべてのファイルをダウンロードします。
• 最初の分割ファイルを指定します（ほとんどのプログラムは自動的にすべての分割ファイルを読み込むはずです）。

llama.cppでの実行方法

コマンドラインチャットモード（チャット補完）での起動

main -m DeepSeek-V2-Chat.{quant}.gguf -c {context length} --color -c (-i)

llama.cppのOpenAI互換サーバーを使用する場合

server \
  -m DeepSeek-V2-Chat.{quant}.gguf \
  -c {context_length} \
  (--color [推奨: サポートされているターミナルでのカラー出力]) \
  (-i [注意: インタラクティブモード]) \
  (--mlock [注意: スワップの使用を避ける]) \
  (--verbose) \
  (--log-disable [注意: ファイルへのログ記録を無効にする、本番環境で役立つ場合があります]) \
  (--metrics [注意: Prometheus互換の監視エンドポイント]) \
  (--api-key [文字列]) \
  (--port [整数]) \
  (--flash-attn [注意: サポートされているGPUに完全にオフロードする必要があります])

重要度行列の作成

imatrix \
  -m DeepSeek-V2-Chat.{quant}.gguf \
  -f groups_merged.txt \
  --verbosity [0, 1, 2] \
  -ngl {GPUオフロード; CUDAでビルドする必要があります} \
  --ofreq {推奨: 1}

量子化モデルの作成

quantize \
  DeepSeek-V2-Chat.bf16.gguf \
  DeepSeek-V2-Chat.{quant}.gguf \
  {quant} \
  (--imatrix [ファイル])

⚠️ 重要提示

iMatrix量子化モデルは、GPUに完全にオフロードできる場合のみ使用してください。そうでない場合、速度が低下する可能性があります。

💻 使用例

基本的な使用法

コマンドラインチャットモードでの起動方法は以下の通りです。

main -m DeepSeek-V2-Chat.{quant}.gguf -c {context length} --color -c (-i)

高度な使用法

llama.cppのOpenAI互換サーバーを使用する場合は、以下のコマンドを実行します。

server \
  -m DeepSeek-V2-Chat.{quant}.gguf \
  -c {context_length} \
  (--color [推奨: サポートされているターミナルでのカラー出力]) \
  (-i [注意: インタラクティブモード]) \
  (--mlock [注意: スワップの使用を避ける]) \
  (--verbose) \
  (--log-disable [注意: ファイルへのログ記録を無効にする、本番環境で役立つ場合があります]) \
  (--metrics [注意: Prometheus互換の監視エンドポイント]) \
  (--api-key [文字列]) \
  (--port [整数]) \
  (--flash-attn [注意: サポートされているGPUに完全にオフロードする必要があります])

📚 ドキュメント

量子化モデル一覧

予定されている量子化モデル（重み付け/iMatrix）

メタデータKVオーバーライド

deepseek2.attention.q_lora_rank=int:1536
deepseek2.attention.kv_lora_rank=int:512
deepseek2.expert_shared_count=int:2
deepseek2.expert_feed_forward_length=int:1536
deepseek2.expert_weights_scale=float:16
deepseek2.leading_dense_block_count=int:1
deepseek2.rope.scaling.yarn_log_multiplier=float:0.0707

パフォーマンス

Ryzen 3 3700x (96gb 3200mhz) で [Q2_K] を使用した場合、~1.5t/s です。

iMatrix

このリポジトリのルートに imatrix.dat があり、Q2_K 量子化モデルを使用して62チャンクで作成されています（詳細はこちらを参照: https://github.com/ggerganov/llama.cpp/issues/5153#issuecomment-1913185693）。

groups_merged.txt はこちらから入手できます: https://github.com/ggerganov/llama.cpp/discussions/5263#discussioncomment-8395384

検閲

このモデルは多少検閲されています。有毒なDPOでのファインチューニングが役立つ場合があります。

📄 ライセンス

• モデルの重みにはDeepSeekライセンスが適用され、これはこのリポジトリのルートにある LICENSE ファイルに記載されています。
• リポジトリのコードにはMITライセンスが適用されます。