Deepseek V3 0324 Bf16

🚀 huihui-ai/DeepSeek-V3-0324-bf16

このモデルはDeepSeek-V3-0324をBF16に変換したものです。そのため、Windowsからの変換コマンドとollamaに関する情報のみを提供しています。

十分なメモリまたは仮想メモリがあれば、Windows環境はWSL2(Ubuntu-22.04)環境よりもはるかに高速です。Linux環境でのテストは行っていません。

LinuxまたはWSL環境にいる場合は、huihui-ai/DeepSeek-R1-bf16を参照してください。

必要に応じて、bf16バージョンをアップロードすることもできます。

📦 インストール

FP8 to BF16

1. deepseek-ai/DeepSeek-V3-0324モデルをダウンロードします。約641GBの空き容量が必要です。

cd /d C:\Users\admin\models
huggingface-cli download deepseek-ai/DeepSeek-V3-0324 --local-dir ./deepseek-ai/DeepSeek-V3-0324

2. 環境を作成します。

conda create -yn DeepSeek-V3-0324 python=3.10
conda activate DeepSeek-V3
pip install torch --index-url https://download.pytorch.org/whl/cu124
pip install -U triton-windows
pip install transformers==4.46.3
pip install safetensors==0.4.5
pip install sentencepiece

3. BF16に変換します。さらに約1.3TBの空き容量が必要です。
   ここでは、deepseek-ai/DeepSeek-V3の"inference"フォルダから変換コードをダウンロードする必要があります。

cd deepseek-ai/DeepSeek-V3/inference
python fp8_cast_bf16.py --input-fp8-hf-path C:/Users/admin/deepseek-ai/models/DeepSeek-V3-0324/ --output-bf16-hf-path C:/Users/admin/models/deepseek-ai/DeepSeek-V3-0324-bf16

BF16 to f16.gguf

1. llama.cppの変換プログラムを使用して、DeepSeek-V3-0324-bf16をgguf形式に変換します。さらに約1.3TBの空き容量が必要です。

python convert_hf_to_gguf.py C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16 --outfile C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-f16.gguf --outtype f16

2. llama.cppの量子化プログラムを使用してモデルを量子化します(llama-quantizeをコンパイルする必要があります)。他の量子化オプションも参照できます。最初にQ2_Kに変換します。さらに約227GBの空き容量が必要です。

llama-quantize C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-f16.gguf  C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf Q2_K

3. llama-cliを使用してテストします。

llama-cli -m C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf -n 2048

💻 使用例

ollamaでの使用

注意: このモデルにはOllama 0.5.5が必要です。

Modefile

FROM deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf
TEMPLATE """{{- range $i, $_ := .Messages }}
{{- if eq .Role "user" }}<｜User｜>
{{- else if eq .Role "assistant" }}<｜Assistant｜>
{{- end }}{{ .Content }}
{{- if eq (len (slice $.Messages $i)) 1 }}
{{- if eq .Role "user" }}<｜Assistant｜>
{{- end }}
{{- else if eq .Role "assistant" }}<｜end▁of▁sentence｜><｜begin▁of▁sentence｜>
{{- end }}
{{- end }}"""
PARAMETER stop <｜begin▁of▁sentence｜>
PARAMETER stop <｜end▁of▁sentence｜>
PARAMETER stop <｜User｜>
PARAMETER stop <｜Assistant｜>
PARAMETER num_gpu 1

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

🎁 寄付

もしこのモデルが気に入ったら、「いいね」をクリックし、最新のアップデートを受け取るためにフォローしてください。
huihui.aiの最新のモデル情報を入手するには、x.com/support_huihuiをフォローしてください。

あなたの寄付は、私たちがさらなる開発と改善を続ける手助けになります。一杯のコーヒー代で十分です。

• ビットコイン:

  bc1qqnkhuchxw0zqjh2ku3lu4hq45hc6gy84uk70ge