D

Deepseek R1 Distill Qwen 32B Unsloth Bnb 4bit

由 unsloth 开发
DeepSeek-R1 是由 DeepSeek 团队推出的第一代推理模型,通过大规模强化学习训练,无需监督微调(SFT)作为初步步骤,展现出卓越的推理能力。
下载量 938
发布时间 : 1/22/2025

模型简介

DeepSeek-R1 系列模型专注于推理任务,具备自我验证、反思和生成长思维链(CoT)的能力,适用于数学、代码和推理任务。

模型特点

快速微调
Unsloth 助力大语言模型微调,速度提升 2 - 5 倍,内存占用降低 70%。
强大推理能力
在数学、代码和推理任务上的表现可与 OpenAI-o1 相媲美,部分蒸馏模型超越 OpenAI-o1-mini。
动态量化
1.58-bit + 2-bit 动态量化经过选择性量化,相比标准的 1-bit/2-bit 量化,显著提高了准确性。
开源蒸馏模型
基于 Llama 和 Qwen 开源了六个从 DeepSeek-R1 蒸馏而来的密集模型,为研究社区提供更多选择。

模型能力

数学问题求解
代码生成
长文本推理
自我验证
反思能力
生成长思维链(CoT)

使用案例

数学问题求解
AIME 2024 数学竞赛题求解
DeepSeek-R1 在 AIME 2024 竞赛题上的 pass@1 达到 79.8%,超越 GPT-4o 和 Claude-3.5-Sonnet。
79.8% pass@1
MATH-500 数学问题求解
在 MATH-500 数据集上,DeepSeek-R1 的 pass@1 达到 97.3%,表现优异。
97.3% pass@1
代码生成
LiveCodeBench 代码生成
DeepSeek-R1 在 LiveCodeBench 上的 pass@1-COT 达到 65.9%,优于 GPT-4o 和 Claude-3.5-Sonnet。
65.9% pass@1-COT
Codeforces 编程竞赛题求解
DeepSeek-R1 在 Codeforces 竞赛题上的评分达到 2029,接近 OpenAI o1-1217 的 2061。
2029 评分
推理任务
MMLU 多任务语言理解
DeepSeek-R1 在 MMLU 数据集上的 pass@1 达到 90.8%,表现优异。
90.8% pass@1
DROP 阅读理解
在 DROP 数据集上,DeepSeek-R1 的 3-shot F1 达到 92.2%,超越 GPT-4o 和 Claude-3.5-Sonnet。
92.2% 3-shot F1
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase