Deepseek V3 0324 Bf16

🚀 huihui-ai/DeepSeek-V3-0324-bf16

本項目將 DeepSeek-V3-0324 模型轉換為 BF16 格式。因此，我們僅提供了在 Windows 系統下的轉換命令以及與 ollama 相關的信息。

在擁有足夠內存或虛擬內存的情況下，Windows 環境的轉換速度比 WSL2（Ubuntu-22.04）環境快得多，Linux 環境暫未測試。

如果您使用的是 Linux 或 WSL 環境，請參考 huihui-ai/DeepSeek-R1-bf16。

如有需要，我們可以上傳 bf16 版本的模型。

🚀 快速開始

✨ 主要特性

• 將 DeepSeek-V3-0324 模型轉換為 BF16 格式。
• 提供 Windows 系統下的轉換命令。
• 支持與 ollama 結合使用。

📦 安裝指南

FP8 轉 BF16

1. 下載 deepseek-ai/DeepSeek-V3-0324 模型，大約需要 641GB 空間。

cd /d C:\Users\admin\models
huggingface-cli download deepseek-ai/DeepSeek-V3-0324 --local-dir ./deepseek-ai/DeepSeek-V3-0324

2. 創建環境。

conda create -yn DeepSeek-V3-0324 python=3.10
conda activate DeepSeek-V3
pip install torch --index-url https://download.pytorch.org/whl/cu124
pip install -U triton-windows
pip install transformers==4.46.3
pip install safetensors==0.4.5
pip install sentencepiece

3. 轉換為 BF16，大約還需要 1.3 TB 空間。
   這裡，您需要從 deepseek-ai/DeepSeek-V3 的 "inference" 文件夾下載轉換代碼。

cd deepseek-ai/DeepSeek-V3/inference
python fp8_cast_bf16.py --input-fp8-hf-path C:/Users/admin/deepseek-ai/models/DeepSeek-V3-0324/ --output-bf16-hf-path C:/Users/admin/models/deepseek-ai/DeepSeek-V3-0324-bf16

BF16 轉 f16.gguf

1. 使用 llama.cpp 轉換程序將 DeepSeek-V3-0324-bf16 轉換為 gguf 格式，大約還需要 1.3 TB 空間。

python convert_hf_to_gguf.py C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16 --outfile C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-f16.gguf --outtype f16

2. 使用 llama.cpp 量化程序對模型進行量化（需要編譯 llama-quantize），其他 量化選項。
   先轉換為 Q2_K，大約還需要 227 GB 空間。

llama-quantize C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-f16.gguf  C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf Q2_K

3. 使用 llama-cli 進行測試。

llama-cli -m C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf -n 2048

💻 使用示例

與 ollama 結合使用

注意：此模型需要 Ollama 0.5.5

Modefile

FROM deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf
TEMPLATE """{{- range $i, $_ := .Messages }}
{{- if eq .Role "user" }}<｜User｜>
{{- else if eq .Role "assistant" }}<｜Assistant｜>
{{- end }}{{ .Content }}
{{- if eq (len (slice $.Messages $i)) 1 }}
{{- if eq .Role "user" }}<｜Assistant｜>
{{- end }}
{{- else if eq .Role "assistant" }}<｜end▁of▁sentence｜><｜begin▁of▁sentence｜>
{{- end }}
{{- end }}"""
PARAMETER stop <｜begin▁of▁sentence｜>
PARAMETER stop <｜end▁of▁sentence｜>
PARAMETER stop <｜User｜>
PARAMETER stop <｜Assistant｜>
PARAMETER num_gpu 1

📄 許可證

本項目採用 MIT 許可證。

捐贈

如果您喜歡本項目，請點擊“點贊”並關注我們以獲取更多更新。
您可以關注 x.com/support_huihui 以獲取 huihui.ai 的最新模型信息。

您的捐贈有助於我們繼續進行進一步的開發和改進，一杯咖啡的錢就可以做到。

• 比特幣：

  bc1qqnkhuchxw0zqjh2ku3lu4hq45hc6gy84uk70ge