Deepseek V3 0324 Bf16

🚀 huihui-ai/DeepSeek-V3-0324-bf16

本项目将 DeepSeek-V3-0324 模型转换为 BF16 格式。因此，我们仅提供了在 Windows 系统下的转换命令以及与 ollama 相关的信息。

在拥有足够内存或虚拟内存的情况下，Windows 环境的转换速度比 WSL2（Ubuntu-22.04）环境快得多，Linux 环境暂未测试。

如果您使用的是 Linux 或 WSL 环境，请参考 huihui-ai/DeepSeek-R1-bf16。

如有需要，我们可以上传 bf16 版本的模型。

🚀 快速开始

✨ 主要特性

• 将 DeepSeek-V3-0324 模型转换为 BF16 格式。
• 提供 Windows 系统下的转换命令。
• 支持与 ollama 结合使用。

📦 安装指南

FP8 转 BF16

1. 下载 deepseek-ai/DeepSeek-V3-0324 模型，大约需要 641GB 空间。

cd /d C:\Users\admin\models
huggingface-cli download deepseek-ai/DeepSeek-V3-0324 --local-dir ./deepseek-ai/DeepSeek-V3-0324

2. 创建环境。

conda create -yn DeepSeek-V3-0324 python=3.10
conda activate DeepSeek-V3
pip install torch --index-url https://download.pytorch.org/whl/cu124
pip install -U triton-windows
pip install transformers==4.46.3
pip install safetensors==0.4.5
pip install sentencepiece

3. 转换为 BF16，大约还需要 1.3 TB 空间。
   这里，您需要从 deepseek-ai/DeepSeek-V3 的 "inference" 文件夹下载转换代码。

cd deepseek-ai/DeepSeek-V3/inference
python fp8_cast_bf16.py --input-fp8-hf-path C:/Users/admin/deepseek-ai/models/DeepSeek-V3-0324/ --output-bf16-hf-path C:/Users/admin/models/deepseek-ai/DeepSeek-V3-0324-bf16

BF16 转 f16.gguf

1. 使用 llama.cpp 转换程序将 DeepSeek-V3-0324-bf16 转换为 gguf 格式，大约还需要 1.3 TB 空间。

python convert_hf_to_gguf.py C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16 --outfile C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-f16.gguf --outtype f16

2. 使用 llama.cpp 量化程序对模型进行量化（需要编译 llama-quantize），其他 量化选项。
   先转换为 Q2_K，大约还需要 227 GB 空间。

llama-quantize C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-f16.gguf  C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf Q2_K

3. 使用 llama-cli 进行测试。

llama-cli -m C:/Users/admin/deepseek-ai/models/deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf -n 2048

💻 使用示例

与 ollama 结合使用

注意：此模型需要 Ollama 0.5.5

Modefile

FROM deepseek-ai/DeepSeek-V3-0324-bf16/ggml-model-Q2_K.gguf
TEMPLATE """{{- range $i, $_ := .Messages }}
{{- if eq .Role "user" }}<｜User｜>
{{- else if eq .Role "assistant" }}<｜Assistant｜>
{{- end }}{{ .Content }}
{{- if eq (len (slice $.Messages $i)) 1 }}
{{- if eq .Role "user" }}<｜Assistant｜>
{{- end }}
{{- else if eq .Role "assistant" }}<｜end▁of▁sentence｜><｜begin▁of▁sentence｜>
{{- end }}
{{- end }}"""
PARAMETER stop <｜begin▁of▁sentence｜>
PARAMETER stop <｜end▁of▁sentence｜>
PARAMETER stop <｜User｜>
PARAMETER stop <｜Assistant｜>
PARAMETER num_gpu 1

📄 许可证

本项目采用 MIT 许可证。

捐赠

如果您喜欢本项目，请点击“点赞”并关注我们以获取更多更新。
您可以关注 x.com/support_huihui 以获取 huihui.ai 的最新模型信息。

您的捐赠有助于我们继续进行进一步的开发和改进，一杯咖啡的钱就可以做到。

• 比特币：

  bc1qqnkhuchxw0zqjh2ku3lu4hq45hc6gy84uk70ge