Deepseek R1 Distill Qwen 32B Unsloth Bnb 4bit

🚀 DeepSeek-R1

Unsloth 助力大語言模型微調，速度提升 2 - 5 倍，內存佔用降低 70%！本項目提供 DeepSeek-R1 系列模型，在推理任務上表現卓越，同時開源多個蒸餾模型，為研究社區帶來新的突破。

🚀 快速開始

我們為 Qwen2.5 (7B) 準備了免費的 Google Colab Tesla T4 筆記本，點擊鏈接即可使用：Qwen2.5 (7B) 筆記本。

模型下載

DeepSeek-R1 模型

DeepSeek-R1-Distill 模型

本地運行

DeepSeek-R1 模型

如需瞭解在本地運行 DeepSeek-R1 模型的更多信息，請訪問 DeepSeek-V3 倉庫。

DeepSeek-R1-Distill 模型

DeepSeek-R1-Distill 模型的使用方式與 Qwen 或 Llama 模型相同。以下是使用不同庫啟動服務的示例：

• 使用 vLLM：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

• 使用 SGLang：

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

使用建議

⚠️ 重要提示

在本地運行 DeepSeek-R1 系列模型之前，請務必查看使用建議部分。

💡 使用建議

為了獲得預期的性能，在使用 DeepSeek-R1 系列模型（包括進行基準測試）時，建議遵循以下配置：

1. 將溫度設置在 0.5 - 0.7 範圍內（建議設置為 0.6），以防止出現無限重複或輸出不連貫的問題。
2. 避免添加系統提示，所有指令應包含在用戶提示中。
3. 對於數學問題，建議在提示中包含類似“請逐步推理，並將最終答案放在 \boxed{} 內”的指令。
4. 在評估模型性能時，建議進行多次測試並取平均值。

✨ 主要特性

• 快速微調：Unsloth 可使大語言模型的微調速度提升 2 - 5 倍，同時將內存佔用降低 70%。
• 強大推理能力：DeepSeek-R1 系列模型在數學、代碼和推理任務上的表現可與 OpenAI-o1 相媲美，其中 DeepSeek-R1-Distill-Qwen-32B 在多個基準測試中超越 OpenAI-o1-mini。
• 動態量化：Unsloth 的 DeepSeek-R1 1.58-bit + 2-bit 動態量化經過選擇性量化，相比標準的 1-bit/2-bit 量化，顯著提高了準確性。
• 開源多個蒸餾模型：基於 Llama 和 Qwen 開源了六個從 DeepSeek-R1 蒸餾而來的密集模型，為研究社區提供更多選擇。

📚 詳細文檔

模型介紹

我們推出了第一代推理模型 DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 是通過大規模強化學習（RL）直接在基礎模型上訓練得到的，無需監督微調（SFT）作為初步步驟。該模型在推理任務上表現出色，展現出自我驗證、反思和生成長思維鏈（CoT）的能力。然而，它也存在一些問題，如無限重複、可讀性差和語言混合等。為了解決這些問題並進一步提升推理性能，我們引入了 DeepSeek-R1，該模型在強化學習之前加入了冷啟動數據。

模型訓練

後訓練：基礎模型上的大規模強化學習

• 直接對基礎模型應用強化學習（RL），無需監督微調（SFT）作為初步步驟。這種方法使模型能夠探索思維鏈（CoT）來解決複雜問題，從而開發出 DeepSeek-R1-Zero。這是首次通過純強化學習（無需 SFT）驗證大語言模型推理能力的開放研究，為該領域的未來發展奠定了基礎。
• 引入開發 DeepSeek-R1 的管道，該管道包含兩個強化學習階段和兩個監督微調階段。強化學習階段旨在發現更好的推理模式並與人類偏好對齊，監督微調階段則為模型的推理和非推理能力提供種子。

蒸餾：小模型也能強大

我們證明了大模型的推理模式可以蒸餾到小模型中，從而使小模型在推理任務上的表現優於通過強化學習在小模型上發現的推理模式。開源的 DeepSeek-R1 及其 API 將有助於研究社區未來蒸餾出更好的小模型。我們還使用 DeepSeek-R1 生成的推理數據微調了幾個在研究社區廣泛使用的密集模型，評估結果表明這些蒸餾後的小密集模型在基準測試中表現出色。

評估結果

DeepSeek-R1 評估

所有模型的最大生成長度設置為 32,768 個標記。對於需要採樣的基準測試，我們使用溫度為 0.6、top-p 值為 0.95 的設置，併為每個查詢生成 64 個響應以估計 pass@1。詳細評估結果如下表所示：

蒸餾模型評估

聊天網站與 API 平臺

• 聊天網站：你可以在 DeepSeek 的官方網站 chat.deepseek.com 上與 DeepSeek-R1 進行聊天，只需切換“DeepThink”按鈕即可。
• API 平臺：我們在 DeepSeek 平臺 platform.deepseek.com 上提供了與 OpenAI 兼容的 API。

📄 許可證

本代碼倉庫和模型權重遵循 MIT 許可證。DeepSeek-R1 系列支持商業使用，允許進行任何修改和衍生作品，包括但不限於蒸餾訓練其他大語言模型。請注意：

• DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B 和 DeepSeek-R1-Distill-Qwen-32B 基於 Qwen-2.5 系列，原始許可證為 Apache 2.0 許可證，現在使用 DeepSeek-R1 精心策劃的 800k 樣本進行微調。
• DeepSeek-R1-Distill-Llama-8B 基於 Llama3.1-8B-Base，原始許可證為 llama3.1 許可證。
• DeepSeek-R1-Distill-Llama-70B 基於 Llama3.3-70B-Instruct，原始許可證為 llama3.3 許可證。

🔧 技術細節

後訓練

我們直接在基礎模型上應用強化學習（RL），無需監督微調（SFT）作為初步步驟。這種方法使模型能夠探索思維鏈（CoT）來解決複雜問題，從而開發出 DeepSeek-R1-Zero。該模型展示了自我驗證、反思和生成長 CoT 的能力，是首次通過純 RL（無需 SFT）驗證大語言模型推理能力的開放研究。

為了開發 DeepSeek-R1，我們引入了一個包含兩個 RL 階段和兩個 SFT 階段的管道。RL 階段旨在發現更好的推理模式並與人類偏好對齊，SFT 階段則為模型的推理和非推理能力提供種子。

蒸餾

我們證明了大模型的推理模式可以蒸餾到小模型中，從而使小模型在推理任務上的表現優於通過 RL 在小模型上發現的推理模式。我們使用 DeepSeek-R1 生成的推理數據微調了幾個在研究社區廣泛使用的密集模型，並開源了這些蒸餾模型的檢查點。

📚 參考資料

@misc{deepseekai2025deepseekr1incentivizingreasoningcapability

特別感謝

在此，我們要向 DeepSeek 團隊表示衷心的感謝，感謝他們創建併發布了這些優秀的模型。