Deepseek R1

🚀 DeepSeek-R1

DeepSeek-R1是第一代推理模型，包含DeepSeek-R1-Zero和DeepSeek-R1。其中，DeepSeek-R1-Zero通過大規模強化學習訓練，在推理方面表現出色；而DeepSeek-R1則在其基礎上，通過引入冷啟動數據，解決了前者存在的問題，並進一步提升了推理性能。該模型在數學、代碼和推理任務上達到了與OpenAI-o1相當的性能。同時，項目還開源了相關模型及六個基於Llama和Qwen的蒸餾模型，為研究社區提供了有力支持。

🚀 快速開始

在本地運行DeepSeek-R1系列模型之前，請務必查看使用建議部分。

你可以在DeepSeek的官方網站 chat.deepseek.com 上與DeepSeek-R1進行對話，並開啟“DeepThink”按鈕。

我們還在DeepSeek平臺 platform.deepseek.com 上提供了兼容OpenAI的API。

✨ 主要特性

模型訓練

• 深度強化學習：直接對基礎模型應用強化學習（RL），無需監督微調（SFT）作為初步步驟，使模型能夠探索思維鏈（CoT）以解決複雜問題，從而開發出DeepSeek-R1-Zero。該模型展現了自我驗證、反思和生成長思維鏈等能力，是首個通過純RL激勵大語言模型推理能力的公開研究，為該領域的未來發展奠定了基礎。
• 多階段訓練流程：開發DeepSeek-R1的流程包括兩個RL階段和兩個SFT階段。RL階段旨在發現更好的推理模式並與人類偏好對齊，SFT階段則為模型的推理和非推理能力提供種子。這一流程有助於創建更優秀的模型，推動行業發展。

模型蒸餾

• 高效蒸餾策略：證明了可以將大模型的推理模式蒸餾到小模型中，相比在小模型上通過RL發現的推理模式，具有更好的性能。開源的DeepSeek-R1及其API將有助於研究社區未來蒸餾出更優秀的小模型。
• 廣泛的蒸餾模型：使用DeepSeek-R1生成的推理數據，對研究社區中廣泛使用的幾個密集模型進行了微調。評估結果表明，蒸餾後的小密集模型在基準測試中表現出色。項目向社區開源了基於Qwen2.5和Llama3系列的1.5B、7B、8B、14B、32B和70B檢查點。

📦 安裝指南

DeepSeek-R1模型

有關在本地運行DeepSeek-R1的更多信息，請訪問 DeepSeek-V3 倉庫。

注意：目前Hugging Face的Transformers尚未直接支持該模型。

DeepSeek-R1-Distill模型

DeepSeek-R1-Distill模型可以像Qwen或Llama模型一樣使用。

例如，你可以使用 vLLM 輕鬆啟動服務：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

你也可以使用 SGLang 輕鬆啟動服務：

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

💻 使用示例

基礎用法

使用vLLM啟動DeepSeek-R1-Distill-Qwen-32B服務：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

高級用法

使用SGLang啟動DeepSeek-R1-Distill-Qwen-32B服務：

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

📚 詳細文檔

模型下載

DeepSeek-R1模型

DeepSeek-R1-Zero和DeepSeek-R1基於DeepSeek-V3-Base進行訓練。有關模型架構的更多詳細信息，請參考 DeepSeek-V3 倉庫。

DeepSeek-R1-Distill模型

DeepSeek-R1-Distill模型基於開源模型進行微調，使用了DeepSeek-R1生成的樣本。我們對其配置和分詞器進行了輕微修改，請使用我們的設置來運行這些模型。

評估結果

DeepSeek-R1評估

對於所有模型，最大生成長度設置為32,768個標記。對於需要採樣的基準測試，我們使用溫度為0.6、top-p值為0.95，併為每個查詢生成64個響應以估計pass@1。

蒸餾模型評估

使用建議

在使用DeepSeek-R1系列模型（包括進行基準測試）時，建議遵循以下配置以獲得預期性能：

1. 將溫度設置在0.5 - 0.7的範圍內（建議為0.6），以防止出現無限重複或輸出不連貫的情況。
2. 避免添加系統提示；所有指令應包含在用戶提示中。
3. 對於數學問題，建議在提示中包含指令，例如：“請逐步推理，並將最終答案放在 \boxed{} 中。”
4. 在評估模型性能時，建議進行多次測試並取平均值。

此外，我們觀察到DeepSeek-R1系列模型在響應某些查詢時傾向於繞過思維模式（即輸出 "<think>\n\n</think>"），這可能會對模型性能產生不利影響。 為確保模型進行全面推理，建議強制模型在每個輸出的開頭以 "<think>\n" 開始響應。

🔧 技術細節

模型訓練

• 深度強化學習：直接對基礎模型應用強化學習（RL），無需監督微調（SFT）作為初步步驟。這種方法使模型能夠探索思維鏈（CoT）以解決複雜問題，從而開發出DeepSeek-R1-Zero。該模型展現了自我驗證、反思和生成長思維鏈等能力，是首個通過純RL激勵大語言模型推理能力的公開研究，為該領域的未來發展奠定了基礎。
• 多階段訓練流程：開發DeepSeek-R1的流程包括兩個RL階段和兩個SFT階段。RL階段旨在發現更好的推理模式並與人類偏好對齊，SFT階段則為模型的推理和非推理能力提供種子。這一流程有助於創建更優秀的模型，推動行業發展。

模型蒸餾

• 高效蒸餾策略：證明了可以將大模型的推理模式蒸餾到小模型中，相比在小模型上通過RL發現的推理模式，具有更好的性能。開源的DeepSeek-R1及其API將有助於研究社區未來蒸餾出更優秀的小模型。
• 廣泛的蒸餾模型：使用DeepSeek-R1生成的推理數據，對研究社區中廣泛使用的幾個密集模型進行了微調。評估結果表明，蒸餾後的小密集模型在基準測試中表現出色。項目向社區開源了基於Qwen2.5和Llama3系列的1.5B、7B、8B、14B、32B和70B檢查點。

📄 許可證

此代碼倉庫和模型權重遵循 MIT許可證。

DeepSeek-R1系列支持商業使用，允許進行任何修改和衍生作品，包括但不限於蒸餾以訓練其他大語言模型。請注意：

• DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B和DeepSeek-R1-Distill-Qwen-32B源自 Qwen-2.5系列，該系列最初遵循 Apache 2.0許可證，現在使用DeepSeek-R1精心策劃的800k樣本進行了微調。
• DeepSeek-R1-Distill-Llama-8B源自Llama3.1-8B-Base，最初遵循 llama3.1許可證。
• DeepSeek-R1-Distill-Llama-70B源自Llama3.3-70B-Instruct，最初遵循 llama3.3許可證。

📚 引用

@misc{deepseekai2025deepseekr1incentivizingreasoningcapability,
      title={DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning}, 
      author={DeepSeek-AI},
      year={2025},
      eprint={2501.12948},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.12948}, 
}

📞 聯繫我們

如果您有任何問題，請提出問題或通過 service@deepseek.com 與我們聯繫。