Deepseek R1 Distill Llama 70B GGUF

🚀 DeepSeek-R1

DeepSeek-R1 は一連の推論モデルで、大規模な強化学習によって訓練され、数学、コード、推論タスクで優れた性能を発揮し、OpenAI-o1 と匹敵するものです。当プロジェクトでは関連モデルをオープンソース化し、研究者が利用しやすいようにしています。

🚀 クイックスタート

モデルの実行

• バージョンの確認：当社のモデルコレクション を参照することで、GGUF およびオリジナル形式の DeepSeek-R1 バージョンを確認できます。
• llama.cpp での実行：詳細な説明 を参照してください。
  1. <ÔΩúUserÔΩú> と <ÔΩúAssistantÔΩú> のマーカーを忘れないでください。また、チャットテンプレートのフォーマットツールを使用することもできます。
  2. https://github.com/ggerganov/llama.cpp から最新の llama.cpp を取得してください。
  3. Q8_0 K 量子化キャッシュの例：-no-cnv を使用すると、自動対話モードを無効にできます。

./llama.cpp/llama-cli \
    --model unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF/DeepSeek-R1-Distill-Llama-70B-Q4_K_M.gguf \
    --cache-type-k q8_0 \
    --threads 16 \
    --prompt '<ÔΩúUserÔΩú>What is 1+1?<ÔΩúAssistantÔΩú>' \
    -no-cnv

出力例：

<think>
Okay, so I need to figure out what 1 plus 1 is. Hmm, where do I even start? I remember from school that adding numbers is pretty basic, but I want to make sure I understand it properly.
Let me think, 1 plus 1. So, I have one item and I add another one. Maybe like a apple plus another apple. If I have one apple and someone gives me another, I now have two apples. So, 1 plus 1 should be 2. That makes sense.
Wait, but sometimes math can be tricky. Could it be something else? Like, in a different number system maybe? But I think the question is straightforward, using regular numbers, not like binary or hexadecimal or anything.
I also recall that in arithmetic, addition is combining quantities. So, if you have two quantities of 1, combining them gives you a total of 2. Yeah, that seems right.
Is there a scenario where 1 plus 1 wouldn't be 2? I can't think of any...

4. GPU 加速の使用：24GB の GPU（例：RTX 4090）がある場合、複数のレイヤーを GPU にオフロードして処理速度を向上させることができます。

./llama.cpp/llama-cli \
    --model unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF/DeepSeek-R1-Distill-Llama-70B-Q4_K_M.gguf \
    --cache-type-k q8_0 \
    --threads 16 \
    --prompt '<ÔΩúUserÔΩú>What is 1+1?<ÔΩúAssistantÔΩú>' \
    --n-gpu-layers 20 \
    -no-cnv

無料の微調整

すべてのノートブックは初心者にも使いやすいです！あなたのデータセットを追加して「すべて実行」をクリックすると、2 倍速の微調整モデルが得られ、このモデルは GGUF、vLLM 形式にエクスポートしたり、Hugging Face にアップロードしたりすることができます。

• Llama 3.2 対話ノートブック は ShareGPT ChatML / Vicuna テンプレートに適しています。
• テキスト完成ノートブック はオリジナルテキストに適しています。DPO ノートブック では Zephyr を再現できます。
• * Kaggle には 2 つの T4 がありますが、私たちは 1 つを使用します。オーバーヘッドのため、1 つの T4 で 5 倍速になります。

✨ 主な機能

モデルの紹介

私たちは第 1 世代の推論モデルである DeepSeek-R1-Zero と DeepSeek-R1 を発表しました。DeepSeek-R1-Zero は、基礎モデルに直接大規模な強化学習を適用し、教師付き微調整を必要とせず、推論タスクで優れた性能を発揮しますが、繰り返し、読みにくさ、言語の混合などの問題があります。これらの問題を解決し、推論性能をさらに向上させるために、私たちは DeepSeek-R1 を導入しました。これは、強化学習の前にコールドスタートデータを追加し、数学、コード、推論タスクでの性能は OpenAI-o1 と同等です。私たちは、DeepSeek-R1-Zero、DeepSeek-R1、および Llama と Qwen をベースに DeepSeek-R1 から蒸留された 6 つの密集モデルをオープンソース化しました。その中で、DeepSeek-R1-Distill-Qwen-32B は複数のベンチマークテストで OpenAI-o1-mini を上回り、密集モデルに新たな最適結果をもたらしました。

モデルの訓練

• 事後訓練：基礎モデルに直接強化学習を適用し、教師付き微調整を最初のステップとして必要とせず、モデルが思考の連鎖を探索して複雑な問題を解決できるようにし、DeepSeek-R1-Zero を開発しました。これは、純粋な強化学習によって大規模言語モデルの推論能力を検証した最初のオープンな研究であり、この分野の将来の発展の基礎を築きました。
• 蒸留：大規模モデルの推論パターンを小規模モデルに蒸留できることを証明し、小規模モデルが推論タスクでより良い性能を発揮できるようにしました。オープンソース化された DeepSeek-R1 とその API は、研究コミュニティが将来的により良い小規模モデルを蒸留するのに役立ちます。私たちは、DeepSeek-R1 で生成された推論データを使用して、研究コミュニティで広く使用されているいくつかの密集モデルを微調整しました。評価結果は、蒸留後の小規模密集モデルがベンチマークテストで優れた性能を発揮することを示しています。

📦 インストール

モデルのダウンロード

DeepSeek-R1 モデル

DeepSeek-R1-Zero と DeepSeek-R1 は、DeepSeek-V3-Base をベースに訓練されています。モデルアーキテクチャの詳細については、DeepSeek-V3 リポジトリを参照してください。

DeepSeek-R1-Distill モデル

DeepSeek-R1-Distill モデルは、オープンソースモデルを微調整し、DeepSeek-R1 で生成されたサンプルを使用しています。それらの設定とトークナイザーはわずかに変更されているため、私たちの設定を使用してこれらのモデルを実行してください。

💻 使用例

基本的な使用法

vLLM を使用すると、簡単にサービスを起動できます。

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

高度な使用法

SGLang を使用してサービスを起動することもできます。

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

📚 ドキュメント

評価結果

DeepSeek-R1 の評価

すべてのモデルの最大生成長は 32,768 トークンに設定されています。サンプリングが必要なベンチマークテストでは、温度を 0.6、top-p 値を 0.95 とし、各クエリに対して 64 個の応答を生成して pass@1 を推定します。

蒸留モデルの評価

チャットサイトと API プラットフォーム

• チャットサイト：DeepSeek の公式サイト chat.deepseek.com で DeepSeek-R1 とチャットし、「DeepThink」ボタンを切り替えることができます。
• API プラットフォーム：私たちは DeepSeek プラットフォーム platform.deepseek.com で OpenAI 互換の API を提供しています。

ローカルでの実行

DeepSeek-R1 モデル

ローカルで DeepSeek-R1 を実行するための詳細な情報については、DeepSeek-V3 リポジトリを参照してください。

DeepSeek-R1-Distill モデル

DeepSeek-R1-Distill モデルの使用方法は、Qwen または Llama モデルと同じです。

使用上の提案

⚠️ 重要提示

DeepSeek-R1 シリーズのモデル（ベンチマークテストを含む）を使用する際には、以下の設定に従って、期待される性能を得ることをおすすめします。

💡 使用建议

1. 温度を 0.5 - 0.7 の範囲（推奨値は 0.6）に設定して、無限の繰り返しや出力の不連続を防いでください。
2. システムプロンプトを追加しないでください。すべての指示はユーザープロンプトに含めてください。
3. 数学の問題では、プロンプトに「請逐步推理，并将最终答案放在 \boxed{} 内。」のような指示を含めることをおすすめします。
4. モデルの性能を評価する際には、複数回のテストを行い、平均値を取ることをおすすめします。

🔧 技術詳細

モデルの訓練

• 基礎モデルに直接強化学習を適用し、教師付き微調整を最初のステップとして必要とせず、モデルが思考の連鎖を探索して複雑な問題を解決できるようにし、DeepSeek-R1-Zero を開発しました。
• DeepSeek-R1 を開発するためのパイプラインを導入しました。これには 2 つの強化学習段階と 2 つの教師付き微調整段階が含まれ、より良い推論パターンを見つけ、人間の嗜好と一致させることを目的としています。

モデルの蒸留

大規模モデルの推論パターンを小規模モデルに蒸留できることを証明し、小規模モデルが推論タスクでより良い性能を発揮できるようにしました。DeepSeek-R1 で生成された推論データを使用して、研究コミュニティで広く使用されているいくつかの密集モデルを微調整しました。評価結果は、蒸留後の小規模密集モデルがベンチマークテストで優れた性能を発揮することを示しています。

📄 ライセンス

このコードリポジトリとモデルの重みは MIT ライセンス に従います。DeepSeek-R1 シリーズは商用利用をサポートしており、任意の変更や派生作品を作成することができます。これには、他の大規模言語モデルを訓練するための蒸留などが含まれます。ただし、以下の点に注意してください。

• DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B、および DeepSeek-R1-Distill-Qwen-32B は Qwen-2.5 シリーズ をベースにしており、元のライセンスは Apache 2.0 ライセンス です。現在は、DeepSeek-R1 で精心選択された 800k のサンプルを使用して微調整されています。
• DeepSeek-R1-Distill-Llama-8B は Llama3.1-8B-Base をベースにしており、元のライセンスは llama3.1 ライセンス です。
• DeepSeek-R1-Distill-Llama-70B は Llama3.3-70B-Instruct をベースにしており、元のライセンスは llama3.3 ライセンス です。

引用

@misc{deepseekai2025deepseekr1incentivizingreasoningcapability,
    title={DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning}, 
    author={DeepSeek-AI and Daya Guo and Dejian Yang and Haowei Zhang and Junxiao Song and Ruoyu Zhang and Runxin Xu and Qihao Zhu and Shirong Ma and Peiyi Wang and Xiao Bi and Xiaokang Zhang and Xingkai Yu and Yu Wu and Z. F. Wu and Zhibin Gou and Zhihong Shao and Zhuoshu Li and Ziyi Gao and Aixin Liu and Bing Xue and Bingxuan Wang and Bochao Wu and Bei Feng and Chengda Lu and Chenggang Zhao and Chengqi Deng and Chenyu Zhang and Chong Ruan and Damai Dai and Deli Chen and Dongjie Ji and Erhang Li and Fangyun Lin and Fucong Dai and Fuli Luo and Guangbo Hao and Guanting Chen and Guowei Li and H. Zhang and Han Bao and Hanwei Xu and Haocheng Wang and Honghui Ding and Huajian Xin and Huazuo Gao and Hui Qu and Hui Li and Jianzhong Guo and Jiashi Li and Jiawei Wang and Jingchang Chen and Jingyang Yuan and Junjie Qiu and Junlong Li and J. L. Cai and Jiaqi Ni and Jian Liang and Jin Chen and Kai Dong and Kai Hu and Kaige Gao and Kang Guan and Kexin Huang and Kuai Yu and Lean Wang and Lecong Zhang and Liang Zhao and Litong Wang and Liyue Zhang and Lei Xu and Leyi Xia and Mingchuan Zhang and Minghua Zhang and Minghui Tang and Meng Li and Miaojun Wang and Mingming Li and Ning Tian and Panpan Huang and Peng Zhang and Qiancheng Wang and Qinyu Chen and Qiushi Du and Ruiqi Ge and Ruisong Zhang and Ruizhe Pan and Runji Wang and R. J. Chen and R. L. Jin and Ruyi Chen and Shanghao Lu and Shangyan Zhou and Shanhuang Chen and Shengfeng Ye and Shiyu Wang and Shuiping Yu and Shunfeng Zhou and Shuting Pan and S. S. Li and Shuang Zhou and Shaoqing Wu and Shengfeng Ye and Tao Yun and Tian Pei and Tianyu Sun and T. Wang and Wangding Zeng and Wanjia Zhao and Wen Liu and Wenfeng Liang and Wenjun Gao and Wenqin Yu and Wentao Zhang and W. L. Xiao and Wei An and Xiaodong Liu and Xiaohan Wang and Xiaokang Chen and Xiaotao Nie and Xin Cheng and Xin Liu and Xin Xie and Xingchao Liu and Xinyu Yang and Xinyuan Li and Xuecheng Su and Xuheng Lin and X. Q. Li and Xiangyue Jin and Xiaojin Shen and Xiaosha Chen and Xiaowen Sun and Xiaoxiang Wang and Xinnan Song and Xinyi Zhou and Xianzu Wang and Xinxia Shan and Y. K. Li and Y. Q. Wang and Y. X. Wei and Yang Zhang and Yanhong Xu and Yao Li and Yao Zhao and Yaofeng Sun and Yaohui Wang and Yi Yu and Yichao Zhang and Yifan Shi and Yiliang Xiong and Ying He and Yishi Piao and Yisong Wang and Yixuan Tan and Yiyang Ma and Yiyuan Liu and Yongqiang Guo and Yuan Ou and Yuduan Wang and Yue Gong and Yuheng Zou and Yujia He and Yunfan Xiong and Yuxiang Luo and Yuxiang You and Yuxiang Luo and Yuxiang You and Yuxuan Liu and Yuyang Zhou and Y. X. Zhu and Yanhong Xu and Yanping Huang and Yaohui Li and Yi Zheng and Yuchen Zhu and Yunxian Ma and Ying Tang and Yukun Zha and Yuting Yan and Z. Z. Ren and Zehui Ren and Zhangli Sha and Zhe Fu and Zhean Xu and Zhenda Xie and Zhengyan Zhang and Zhewen Hao and Zhicheng Ma and Zhigang Yan and Zhiyu Wu and Zihui Gu and Zijia Zhu and Zijun Liu and Zilin Li and Ziwei Xie and Ziyang Song and Zizheng Pan and Zhen Huang and Zhipeng Xu and Zhongyu Zhang and Zhen Zhang},
    year={2025},
    eprint={2501.12948},
    archivePrefix={arXiv},
    primaryClass={cs.CL},
    url={https://arxiv.org/abs/2501.12948}, 
}

お問い合わせ

何か質問がある場合は、issue を作成するか、service@deepseek.com までご連絡ください。

特別な感謝

DeepSeek チームがこれらのモデルを作成し、公開してくれたことに深く感謝します。