Deepseek R1

🚀 DeepSeek-R1

DeepSeek-R1是第一代推理模型，包含DeepSeek-R1-Zero和DeepSeek-R1。其中，DeepSeek-R1-Zero通过大规模强化学习训练，在推理方面表现出色；而DeepSeek-R1则在其基础上，通过引入冷启动数据，解决了前者存在的问题，并进一步提升了推理性能。该模型在数学、代码和推理任务上达到了与OpenAI-o1相当的性能。同时，项目还开源了相关模型及六个基于Llama和Qwen的蒸馏模型，为研究社区提供了有力支持。

🚀 快速开始

在本地运行DeepSeek-R1系列模型之前，请务必查看使用建议部分。

你可以在DeepSeek的官方网站 chat.deepseek.com 上与DeepSeek-R1进行对话，并开启“DeepThink”按钮。

我们还在DeepSeek平台 platform.deepseek.com 上提供了兼容OpenAI的API。

✨ 主要特性

模型训练

• 深度强化学习：直接对基础模型应用强化学习（RL），无需监督微调（SFT）作为初步步骤，使模型能够探索思维链（CoT）以解决复杂问题，从而开发出DeepSeek-R1-Zero。该模型展现了自我验证、反思和生成长思维链等能力，是首个通过纯RL激励大语言模型推理能力的公开研究，为该领域的未来发展奠定了基础。
• 多阶段训练流程：开发DeepSeek-R1的流程包括两个RL阶段和两个SFT阶段。RL阶段旨在发现更好的推理模式并与人类偏好对齐，SFT阶段则为模型的推理和非推理能力提供种子。这一流程有助于创建更优秀的模型，推动行业发展。

模型蒸馏

• 高效蒸馏策略：证明了可以将大模型的推理模式蒸馏到小模型中，相比在小模型上通过RL发现的推理模式，具有更好的性能。开源的DeepSeek-R1及其API将有助于研究社区未来蒸馏出更优秀的小模型。
• 广泛的蒸馏模型：使用DeepSeek-R1生成的推理数据，对研究社区中广泛使用的几个密集模型进行了微调。评估结果表明，蒸馏后的小密集模型在基准测试中表现出色。项目向社区开源了基于Qwen2.5和Llama3系列的1.5B、7B、8B、14B、32B和70B检查点。

📦 安装指南

DeepSeek-R1模型

有关在本地运行DeepSeek-R1的更多信息，请访问 DeepSeek-V3 仓库。

注意：目前Hugging Face的Transformers尚未直接支持该模型。

DeepSeek-R1-Distill模型

DeepSeek-R1-Distill模型可以像Qwen或Llama模型一样使用。

例如，你可以使用 vLLM 轻松启动服务：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

你也可以使用 SGLang 轻松启动服务：

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

💻 使用示例

基础用法

使用vLLM启动DeepSeek-R1-Distill-Qwen-32B服务：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

高级用法

使用SGLang启动DeepSeek-R1-Distill-Qwen-32B服务：

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

📚 详细文档

模型下载

DeepSeek-R1模型

DeepSeek-R1-Zero和DeepSeek-R1基于DeepSeek-V3-Base进行训练。有关模型架构的更多详细信息，请参考 DeepSeek-V3 仓库。

DeepSeek-R1-Distill模型

DeepSeek-R1-Distill模型基于开源模型进行微调，使用了DeepSeek-R1生成的样本。我们对其配置和分词器进行了轻微修改，请使用我们的设置来运行这些模型。

评估结果

DeepSeek-R1评估

对于所有模型，最大生成长度设置为32,768个标记。对于需要采样的基准测试，我们使用温度为0.6、top-p值为0.95，并为每个查询生成64个响应以估计pass@1。

蒸馏模型评估

使用建议

在使用DeepSeek-R1系列模型（包括进行基准测试）时，建议遵循以下配置以获得预期性能：

1. 将温度设置在0.5 - 0.7的范围内（建议为0.6），以防止出现无限重复或输出不连贯的情况。
2. 避免添加系统提示；所有指令应包含在用户提示中。
3. 对于数学问题，建议在提示中包含指令，例如：“请逐步推理，并将最终答案放在 \boxed{} 中。”
4. 在评估模型性能时，建议进行多次测试并取平均值。

此外，我们观察到DeepSeek-R1系列模型在响应某些查询时倾向于绕过思维模式（即输出 "<think>\n\n</think>"），这可能会对模型性能产生不利影响。 为确保模型进行全面推理，建议强制模型在每个输出的开头以 "<think>\n" 开始响应。

🔧 技术细节

模型训练

• 深度强化学习：直接对基础模型应用强化学习（RL），无需监督微调（SFT）作为初步步骤。这种方法使模型能够探索思维链（CoT）以解决复杂问题，从而开发出DeepSeek-R1-Zero。该模型展现了自我验证、反思和生成长思维链等能力，是首个通过纯RL激励大语言模型推理能力的公开研究，为该领域的未来发展奠定了基础。
• 多阶段训练流程：开发DeepSeek-R1的流程包括两个RL阶段和两个SFT阶段。RL阶段旨在发现更好的推理模式并与人类偏好对齐，SFT阶段则为模型的推理和非推理能力提供种子。这一流程有助于创建更优秀的模型，推动行业发展。

模型蒸馏

• 高效蒸馏策略：证明了可以将大模型的推理模式蒸馏到小模型中，相比在小模型上通过RL发现的推理模式，具有更好的性能。开源的DeepSeek-R1及其API将有助于研究社区未来蒸馏出更优秀的小模型。
• 广泛的蒸馏模型：使用DeepSeek-R1生成的推理数据，对研究社区中广泛使用的几个密集模型进行了微调。评估结果表明，蒸馏后的小密集模型在基准测试中表现出色。项目向社区开源了基于Qwen2.5和Llama3系列的1.5B、7B、8B、14B、32B和70B检查点。

📄 许可证

此代码仓库和模型权重遵循 MIT许可证。

DeepSeek-R1系列支持商业使用，允许进行任何修改和衍生作品，包括但不限于蒸馏以训练其他大语言模型。请注意：

• DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B和DeepSeek-R1-Distill-Qwen-32B源自 Qwen-2.5系列，该系列最初遵循 Apache 2.0许可证，现在使用DeepSeek-R1精心策划的800k样本进行了微调。
• DeepSeek-R1-Distill-Llama-8B源自Llama3.1-8B-Base，最初遵循 llama3.1许可证。
• DeepSeek-R1-Distill-Llama-70B源自Llama3.3-70B-Instruct，最初遵循 llama3.3许可证。

📚 引用

@misc{deepseekai2025deepseekr1incentivizingreasoningcapability,
      title={DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning}, 
      author={DeepSeek-AI},
      year={2025},
      eprint={2501.12948},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.12948}, 
}

📞 联系我们

如果您有任何问题，请提出问题或通过 service@deepseek.com 与我们联系。