Deepseek R1 GGUF

🚀 DeepSeek-R1

DeepSeek-R1 是第一代推理模型，在數學、代碼和推理任務上表現出色，性能可與 OpenAI-o1 相媲美。本項目開源了相關模型，為研究社區提供支持。

🚀 快速開始

運行模型

在本地運行 DeepSeek-R1 系列模型前，請先查看使用建議部分。

• DeepSeek-R1 模型：更多關於在本地運行 DeepSeek-R1 的信息，請訪問 DeepSeek-V3 倉庫。
• DeepSeek-R1-Distill 模型：可以像使用 Qwen 或 Llama 模型一樣使用 DeepSeek-R1-Distill 模型。

下載模型

# pip install huggingface_hub hf_transfer
# import os # Optional for faster downloading
# os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"

from huggingface_hub import snapshot_download
snapshot_download(
  repo_id = "unsloth/DeepSeek-R1-GGUF",
  local_dir = "DeepSeek-R1-GGUF",
  allow_patterns = ["*UD-IQ1_S*"], # Select quant type UD-IQ1_S for 1.58bit
)

示例運行

./llama.cpp/llama-cli \
  --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
  --cache-type-k q4_0 \
  --threads 12 -no-cnv --prio 2 \
  --temp 0.6 \
  --ctx-size 8192 \
  --seed 3407 \
  --prompt "<｜User｜>Create a Flappy Bird game in Python.<｜Assistant｜>"

✨ 主要特性

模型創新

• DeepSeek-R1-Zero：通過大規模強化學習（RL）訓練，無需監督微調（SFT）作為初步步驟，在推理方面表現出色，具有自我驗證、反思和生成長思維鏈等能力。
• DeepSeek-R1：在 RL 之前加入冷啟動數據，解決了 DeepSeek-R1-Zero 存在的問題，如無盡重複、可讀性差和語言混合等，在數學、代碼和推理任務上達到了與 OpenAI-o1 相當的性能。

模型開源

開源了 DeepSeek-R1-Zero、DeepSeek-R1 以及六個基於 Llama 和 Qwen 從 DeepSeek-R1 蒸餾得到的密集模型，其中 DeepSeek-R1-Distill-Qwen-32B 在各種基準測試中優於 OpenAI-o1-mini，為密集模型取得了新的最優結果。

評估表現

在多個基準測試中表現優異，如在數學、代碼和推理任務上的評估結果顯示，DeepSeek R1 在多個指標上超過了其他模型。

📦 安裝指南

安裝依賴

apt-get update
apt-get install build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggerganov/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

下載模型

from huggingface_hub import snapshot_download
snapshot_download(
  repo_id = "unsloth/DeepSeek-R1-GGUF",
  local_dir = "DeepSeek-R1-GGUF",
  allow_patterns = ["*UD-IQ1_S*"], # Select quant type UD-IQ1_S for 1.58bit
)

💻 使用示例

基礎用法

./llama.cpp/llama-cli \
  --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
  --cache-type-k q4_0 \
  --threads 12 -no-cnv --prio 2 \
  --temp 0.6 \
  --ctx-size 8192 \
  --seed 3407 \
  --prompt "<｜User｜>Create a Flappy Bird game in Python.<｜Assistant｜>"

高級用法

./llama.cpp/llama-cli \
  --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
  --cache-type-k q4_0 \
  --threads 12 -no-cnv --prio 2 \
  --n-gpu-layers 7 \
  --temp 0.6 \
  --ctx-size 8192 \
  --seed 3407 \
  --prompt "<｜User｜>Create a Flappy Bird game in Python.<｜Assistant｜>"

📚 詳細文檔

模型概述

後訓練：在基礎模型上進行大規模強化學習

• 直接對基礎模型應用強化學習（RL），無需監督微調（SFT）作為初步步驟，開發出 DeepSeek-R1-Zero，該模型展示了自我驗證、反思和生成長思維鏈等能力。
• 引入開發 DeepSeek-R1 的管道，包括兩個 RL 階段和兩個 SFT 階段，旨在發現更好的推理模式並與人類偏好對齊。

蒸餾：小模型也能強大

• 證明了可以將大模型的推理模式蒸餾到小模型中，開源的 DeepSeek-R1 及其 API 將有助於未來蒸餾出更好的小模型。
• 使用 DeepSeek-R1 生成的樣本對開源模型進行微調，得到 DeepSeek-R1-Distill 模型，並對其配置和分詞器進行了微調。

模型下載

DeepSeek-R1 模型

DeepSeek-R1-Distill 模型

評估結果

DeepSeek-R1 評估

蒸餾模型評估

聊天網站與 API 平臺

• 可以在 DeepSeek 的官方網站 chat.deepseek.com 上與 DeepSeek-R1 聊天，並切換“DeepThink”按鈕。
• 還在 DeepSeek 平臺 platform.deepseek.com 上提供了與 OpenAI 兼容的 API。

本地運行方法

DeepSeek-R1 模型

請訪問 DeepSeek-V3 倉庫獲取更多關於在本地運行 DeepSeek-R1 的信息。

DeepSeek-R1-Distill 模型

可以使用 vLLM 或 SGLang 輕鬆啟動服務。

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

使用建議

• 將溫度設置在 0.5 - 0.7 範圍內（建議 0.6），以防止無盡重複或輸出不連貫。
• 避免添加系統提示，所有指令應包含在用戶提示中。
• 對於數學問題，建議在提示中包含指令，如：“請逐步推理，並將最終答案放在 \boxed{} 內”。
• 評估模型性能時，建議進行多次測試並取平均值。

🔧 技術細節

後訓練：在基礎模型上進行大規模強化學習

直接對基礎模型應用強化學習（RL），無需監督微調（SFT）作為初步步驟，開發出 DeepSeek-R1-Zero。該模型展示了自我驗證、反思和生成長思維鏈等能力，是第一個通過純 RL 激勵大語言模型推理能力的開放研究。

蒸餾：小模型也能強大

證明了可以將大模型的推理模式蒸餾到小模型中，使用 DeepSeek-R1 生成的樣本對開源模型進行微調，得到 DeepSeek-R1-Distill 模型，並對其配置和分詞器進行了微調。

📄 許可證

本代碼倉庫和模型權重遵循 MIT 許可證。DeepSeek-R1 系列支持商業使用，允許進行任何修改和衍生作品，包括但不限於蒸餾訓練其他大語言模型。請注意：

• DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B 和 DeepSeek-R1-Distill-Qwen-32B 源自 Qwen-2.5 系列，原許可證為 Apache 2.0 許可證，現在使用 DeepSeek-R1 精心策劃的 800k 樣本進行微調。
• DeepSeek-R1-Distill-Llama-8B 源自 Llama3.1-8B-Base，原許可證為 llama3.1 許可證。
• DeepSeek-R1-Distill-Llama-70B 源自 Llama3.3-70B-Instruct，原許可證為 llama3.3 許可證。

引用

@misc{deepseekai2025deepseekr1incentivizingreasoningcapability,
      title={DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning}, 
      author={DeepSeek-AI and Daya Guo and Dejian Yang and Haowei Zhang and Junxiao Song and Ruoyu Zhang and Runxin Xu and Qihao Zhu and Shirong Ma and Peiyi Wang and Xiao Bi and Xiaokang Zhang and Xingkai Yu and Yu Wu and Z. F. Wu and Zhibin Gou and Zhihong Shao and Zhuoshu Li and Ziyi Gao and Aixin Liu and Bing Xue and Bingxuan Wang and Bochao Wu and Bei Feng and Chengda Lu and Chenggang Zhao and Chengqi Deng and Chenyu Zhang and Chong Ruan and Damai Dai and Deli Chen and Dongjie Ji and Erhang Li and Fangyun Lin and Fucong Dai and Fuli Luo and Guangbo Hao and Guanting Chen and Guowei Li and H. Zhang and Han Bao and Hanwei Xu and Haocheng Wang and Honghui Ding and Huajian Xin and Huazuo Gao and Hui Qu and Hui Li and Jianzhong Guo and Jiashi Li and Jiawei Wang and Jingchang Chen and Jingyang Yuan and Junjie Qiu and Junlong Li and J. L. Cai and Jiaqi Ni and Jian Liang and Jin Chen and Kai Dong and Kai Hu and Kaige Gao and Kang Guan and Kexin Huang and Kuai Yu and Lean Wang and Lecong Zhang and Liang Zhao and Litong Wang and Liyue Zhang and Lei Xu and Leyi Xia and Mingchuan Zhang and Minghua Zhang and Minghui Tang and Meng Li and Miaojun Wang and Mingming Li and Ning Tian and Panpan Huang and Peng Zhang and Qiancheng Wang and Qinyu Chen and Qiushi Du and Ruiqi Ge and Ruisong Zhang and Ruizhe Pan and Runji Wang and R. J. Chen and R. L. Jin and Ruyi Chen and Shanghao Lu and Shangyan Zhou and Shanhuang Chen and Shengfeng Ye and Shiyu Wang and Shuiping Yu and Shunfeng Zhou and Shuting Pan and S. S. Li and Shuang Zhou and Shaoqing Wu and Shengfeng Ye and Tao Yun and Tian Pei and Tianyu Sun and T. Wang and Wangding Zeng and Wanjia Zhao and Wen Liu and Wenfeng Liang and Wenjun Gao and Wenqin Yu and Wentao Zhang and W. L. Xiao and Wei An and Xiaodong Liu and Xiaohan Wang and Xiaokang Chen and Xiaotao Nie and Xin Cheng and Xin Liu and Xin Xie and Xingchao Liu and Xinyu Yang and Xinyuan Li and Xuecheng Su and Xuheng Lin and X. Q. Li and Xiangyue Jin and Xiaojin Shen and Xiaosha Chen and Xiaowen Sun and Xiaoxiang Wang and Xinnan Song and Xinyi Zhou and Xianzu Wang and Xinxia Shan and Y. K. Li and Y. Q. Wang and Y. X. Wei and Yang Zhang and Yanhong Xu and Yao Li and Yao Zhao and Yaofeng Sun and Yaohui Wang and Yi Yu and Yichao Zhang and Yifan Shi and Yiliang Xiong and Ying He and Yishi Piao and Yisong Wang and Yixuan Tan and Yiyang Ma and Yiyuan Liu and Yongqiang Guo and Yuan Ou and Yuduan Wang and Yue Gong and Yuheng Zou and Yujia He and Yunfan Xiong and Yuxiang Luo and Yuxiang You and Yuxuan Liu and Yuyang Zhou and Y. X. Zhu and Yanhong Xu and Yanping Huang and Yaohui Li and Yi Zheng and Yuchen Zhu and Yunxian Ma and Ying Tang and Yukun Zha and Yuting Yan and Z. Z. Ren and Zehui Ren and Zhangli Sha and Zhe Fu and Zhean Xu and Zhenda Xie and Zhengyan Zhang and Zhewen Hao and Zhicheng Ma and Zhigang Yan and Zhiyu Wu and Zihui Gu and Zijia Zhu and Zijun Liu and Zilin Li and Ziwei Xie and Ziyang Song and Zizheng Pan and Zhen Huang and Zhipeng Xu and Zhongyu Zhang and Zhen Zhang},
      year={2025},
      eprint={2501.12948},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.12948}, 
}

特殊感謝

非常感謝 DeepSeek 團隊創建併發布這些模型。

聯繫我們

如果您有任何問題，請提出問題或通過 service@deepseek.com 聯繫我們。