D

Deepseek R1 Distill Qwen 32B Unsloth Bnb 4bit

由unsloth開發
DeepSeek-R1 是由 DeepSeek 團隊推出的第一代推理模型,通過大規模強化學習訓練,無需監督微調(SFT)作為初步步驟,展現出卓越的推理能力。
下載量 938
發布時間 : 1/22/2025

模型概述

DeepSeek-R1 系列模型專注於推理任務,具備自我驗證、反思和生成長思維鏈(CoT)的能力,適用於數學、代碼和推理任務。

模型特點

快速微調
Unsloth 助力大語言模型微調,速度提升 2 - 5 倍,內存佔用降低 70%。
強大推理能力
在數學、代碼和推理任務上的表現可與 OpenAI-o1 相媲美,部分蒸餾模型超越 OpenAI-o1-mini。
動態量化
1.58-bit + 2-bit 動態量化經過選擇性量化,相比標準的 1-bit/2-bit 量化,顯著提高了準確性。
開源蒸餾模型
基於 Llama 和 Qwen 開源了六個從 DeepSeek-R1 蒸餾而來的密集模型,為研究社區提供更多選擇。

模型能力

數學問題求解
代碼生成
長文本推理
自我驗證
反思能力
生成長思維鏈(CoT)

使用案例

數學問題求解
AIME 2024 數學競賽題求解
DeepSeek-R1 在 AIME 2024 競賽題上的 pass@1 達到 79.8%,超越 GPT-4o 和 Claude-3.5-Sonnet。
79.8% pass@1
MATH-500 數學問題求解
在 MATH-500 數據集上,DeepSeek-R1 的 pass@1 達到 97.3%,表現優異。
97.3% pass@1
代碼生成
LiveCodeBench 代碼生成
DeepSeek-R1 在 LiveCodeBench 上的 pass@1-COT 達到 65.9%,優於 GPT-4o 和 Claude-3.5-Sonnet。
65.9% pass@1-COT
Codeforces 編程競賽題求解
DeepSeek-R1 在 Codeforces 競賽題上的評分達到 2029,接近 OpenAI o1-1217 的 2061。
2029 評分
推理任務
MMLU 多任務語言理解
DeepSeek-R1 在 MMLU 數據集上的 pass@1 達到 90.8%,表現優異。
90.8% pass@1
DROP 閱讀理解
在 DROP 數據集上,DeepSeek-R1 的 3-shot F1 達到 92.2%,超越 GPT-4o 和 Claude-3.5-Sonnet。
92.2% 3-shot F1
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase