Deepseek R1 Distill Qwen 32B Unsloth Bnb 4bit

🚀 DeepSeek-R1

Unsloth 助力大语言模型微调，速度提升 2 - 5 倍，内存占用降低 70%！本项目提供 DeepSeek-R1 系列模型，在推理任务上表现卓越，同时开源多个蒸馏模型，为研究社区带来新的突破。

🚀 快速开始

我们为 Qwen2.5 (7B) 准备了免费的 Google Colab Tesla T4 笔记本，点击链接即可使用：Qwen2.5 (7B) 笔记本。

模型下载

DeepSeek-R1 模型

DeepSeek-R1-Distill 模型

本地运行

DeepSeek-R1 模型

如需了解在本地运行 DeepSeek-R1 模型的更多信息，请访问 DeepSeek-V3 仓库。

DeepSeek-R1-Distill 模型

DeepSeek-R1-Distill 模型的使用方式与 Qwen 或 Llama 模型相同。以下是使用不同库启动服务的示例：

• 使用 vLLM：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

• 使用 SGLang：

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

使用建议

⚠️ 重要提示

在本地运行 DeepSeek-R1 系列模型之前，请务必查看使用建议部分。

💡 使用建议

为了获得预期的性能，在使用 DeepSeek-R1 系列模型（包括进行基准测试）时，建议遵循以下配置：

1. 将温度设置在 0.5 - 0.7 范围内（建议设置为 0.6），以防止出现无限重复或输出不连贯的问题。
2. 避免添加系统提示，所有指令应包含在用户提示中。
3. 对于数学问题，建议在提示中包含类似“请逐步推理，并将最终答案放在 \boxed{} 内”的指令。
4. 在评估模型性能时，建议进行多次测试并取平均值。

✨ 主要特性

• 快速微调：Unsloth 可使大语言模型的微调速度提升 2 - 5 倍，同时将内存占用降低 70%。
• 强大推理能力：DeepSeek-R1 系列模型在数学、代码和推理任务上的表现可与 OpenAI-o1 相媲美，其中 DeepSeek-R1-Distill-Qwen-32B 在多个基准测试中超越 OpenAI-o1-mini。
• 动态量化：Unsloth 的 DeepSeek-R1 1.58-bit + 2-bit 动态量化经过选择性量化，相比标准的 1-bit/2-bit 量化，显著提高了准确性。
• 开源多个蒸馏模型：基于 Llama 和 Qwen 开源了六个从 DeepSeek-R1 蒸馏而来的密集模型，为研究社区提供更多选择。

📚 详细文档

模型介绍

我们推出了第一代推理模型 DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 是通过大规模强化学习（RL）直接在基础模型上训练得到的，无需监督微调（SFT）作为初步步骤。该模型在推理任务上表现出色，展现出自我验证、反思和生成长思维链（CoT）的能力。然而，它也存在一些问题，如无限重复、可读性差和语言混合等。为了解决这些问题并进一步提升推理性能，我们引入了 DeepSeek-R1，该模型在强化学习之前加入了冷启动数据。

模型训练

后训练：基础模型上的大规模强化学习

• 直接对基础模型应用强化学习（RL），无需监督微调（SFT）作为初步步骤。这种方法使模型能够探索思维链（CoT）来解决复杂问题，从而开发出 DeepSeek-R1-Zero。这是首次通过纯强化学习（无需 SFT）验证大语言模型推理能力的开放研究，为该领域的未来发展奠定了基础。
• 引入开发 DeepSeek-R1 的管道，该管道包含两个强化学习阶段和两个监督微调阶段。强化学习阶段旨在发现更好的推理模式并与人类偏好对齐，监督微调阶段则为模型的推理和非推理能力提供种子。

蒸馏：小模型也能强大

我们证明了大模型的推理模式可以蒸馏到小模型中，从而使小模型在推理任务上的表现优于通过强化学习在小模型上发现的推理模式。开源的 DeepSeek-R1 及其 API 将有助于研究社区未来蒸馏出更好的小模型。我们还使用 DeepSeek-R1 生成的推理数据微调了几个在研究社区广泛使用的密集模型，评估结果表明这些蒸馏后的小密集模型在基准测试中表现出色。

评估结果

DeepSeek-R1 评估

所有模型的最大生成长度设置为 32,768 个标记。对于需要采样的基准测试，我们使用温度为 0.6、top-p 值为 0.95 的设置，并为每个查询生成 64 个响应以估计 pass@1。详细评估结果如下表所示：

蒸馏模型评估

聊天网站与 API 平台

• 聊天网站：你可以在 DeepSeek 的官方网站 chat.deepseek.com 上与 DeepSeek-R1 进行聊天，只需切换“DeepThink”按钮即可。
• API 平台：我们在 DeepSeek 平台 platform.deepseek.com 上提供了与 OpenAI 兼容的 API。

📄 许可证

本代码仓库和模型权重遵循 MIT 许可证。DeepSeek-R1 系列支持商业使用，允许进行任何修改和衍生作品，包括但不限于蒸馏训练其他大语言模型。请注意：

• DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B 和 DeepSeek-R1-Distill-Qwen-32B 基于 Qwen-2.5 系列，原始许可证为 Apache 2.0 许可证，现在使用 DeepSeek-R1 精心策划的 800k 样本进行微调。
• DeepSeek-R1-Distill-Llama-8B 基于 Llama3.1-8B-Base，原始许可证为 llama3.1 许可证。
• DeepSeek-R1-Distill-Llama-70B 基于 Llama3.3-70B-Instruct，原始许可证为 llama3.3 许可证。

🔧 技术细节

后训练

我们直接在基础模型上应用强化学习（RL），无需监督微调（SFT）作为初步步骤。这种方法使模型能够探索思维链（CoT）来解决复杂问题，从而开发出 DeepSeek-R1-Zero。该模型展示了自我验证、反思和生成长 CoT 的能力，是首次通过纯 RL（无需 SFT）验证大语言模型推理能力的开放研究。

为了开发 DeepSeek-R1，我们引入了一个包含两个 RL 阶段和两个 SFT 阶段的管道。RL 阶段旨在发现更好的推理模式并与人类偏好对齐，SFT 阶段则为模型的推理和非推理能力提供种子。

蒸馏

我们证明了大模型的推理模式可以蒸馏到小模型中，从而使小模型在推理任务上的表现优于通过 RL 在小模型上发现的推理模式。我们使用 DeepSeek-R1 生成的推理数据微调了几个在研究社区广泛使用的密集模型，并开源了这些蒸馏模型的检查点。

📚 参考资料

@misc{deepseekai2025deepseekr1incentivizingreasoningcapability

特别感谢

在此，我们要向 DeepSeek 团队表示衷心的感谢，感谢他们创建并发布了这些优秀的模型。