Deepseek R1 Bf16

🚀 DeepSeek-R1

DeepSeek-R1は、最先端の推論モデルです。大規模強化学習を用いて開発され、数学、コード、推論タスクでOpenAI-o1に匹敵する性能を発揮します。また、モデルの知識蒸留技術を通じて、小規模モデルでも高い性能を達成することができます。

論文リンクüëÅÔ∏è

🚀 クイックスタート

DeepSeek-R1は、最先端の推論モデルで、大規模強化学習を用いて開発されました。このモデルは、数学、コード、推論タスクでOpenAI-o1に匹敵する性能を発揮します。また、知識蒸留技術を通じて、小規模モデルでも高い性能を達成することができます。

✨ 主な機能

1. 導入

DeepSeek-R1-ZeroとDeepSeek-R1という初代推論モデルを紹介します。DeepSeek-R1-Zeroは、教師あり微調整（SFT）を事前ステップとせずに大規模強化学習（RL）を通じて訓練されたモデルで、推論において卓越した性能を示しました。RLにより、DeepSeek-R1-Zeroは多くの強力で興味深い推論行動を自然に獲得しました。しかし、DeepSeek-R1-Zeroは無限の繰り返し、読みにくさ、言語の混合などの問題に直面しています。これらの問題を解決し、推論性能をさらに向上させるために、RLの前にコールドスタートデータを組み込んだDeepSeek-R1を導入します。DeepSeek-R1は、数学、コード、推論タスクでOpenAI-o1に匹敵する性能を達成します。研究コミュニティを支援するために、DeepSeek-R1-Zero、DeepSeek-R1、およびLlamaとQwenに基づいてDeepSeek-R1から蒸留された6つの高密度モデルをオープンソース化しています。DeepSeek-R1-Distill-Qwen-32Bは、さまざまなベンチマークでOpenAI-o1-miniを上回り、高密度モデルの新しい最先端結果を達成しています。

2. モデル概要

事後訓練：ベースモデルでの大規模強化学習

• 事前ステップとしての教師あり微調整（SFT）に依存せずに、ベースモデルに直接強化学習（RL）を適用します。このアプローチにより、モデルは複雑な問題を解決するための思考連鎖（CoT）を探索することができ、DeepSeek-R1-Zeroの開発につながりました。DeepSeek-R1-Zeroは、自己検証、反省、長いCoTの生成などの能力を示し、研究コミュニティにとって重要なマイルストーンとなりました。特に、LLMの推論能力がSFTを必要とせずに純粋にRLを通じて促進されることを検証した最初のオープンリサーチです。この画期的な成果は、この分野の将来の進歩に道を開きます。
• DeepSeek-R1を開発するためのパイプラインを導入します。このパイプラインは、改善された推論パターンを発見し、人間の好みに合わせることを目的とした2つのRLステージと、モデルの推論および非推論能力のシードとして機能する2つのSFTステージを組み込んでいます。このパイプラインは、より良いモデルを作成することで業界に貢献すると考えています。

蒸留：小規模モデルも強力です

• 大規模モデルの推論パターンを小規模モデルに蒸留することができ、小規模モデルでRLを通じて発見された推論パターンと比較して、より良い性能をもたらすことを示しています。オープンソースのDeepSeek-R1とそのAPIは、将来的により良い小規模モデルを蒸留するために研究コミュニティに役立つでしょう。
• DeepSeek-R1によって生成された推論データを使用して、研究コミュニティで広く使用されているいくつかの高密度モデルを微調整しました。評価結果は、蒸留された小規模高密度モデルがベンチマークで非常に良好な性能を発揮することを示しています。Qwen2.5とLlama3シリーズに基づいて蒸留された1.5B、7B、8B、14B、32B、および70Bのチェックポイントをコミュニティにオープンソース化します。

📦 インストール

DeepSeek-R1モデル

DeepSeek-R1-ZeroとDeepSeek-R1は、DeepSeek-V3-Baseに基づいて訓練されています。モデルアーキテクチャに関する詳細については、DeepSeek-V3リポジトリを参照してください。

DeepSeek-R1-Distillモデル

DeepSeek-R1-Distillモデルは、オープンソースモデルに基づいて微調整されており、DeepSeek-R1によって生成されたサンプルを使用しています。設定とトークナイザーを少し変更しています。これらのモデルを実行するには、私たちの設定を使用してください。

💻 使用例

ローカルでの実行方法

DeepSeek-R1モデル

DeepSeek-R1をローカルで実行する方法に関する詳細情報については、DeepSeek-V3リポジトリを訪問してください。

DeepSeek-R1-Distillモデル

DeepSeek-R1-Distillモデルは、QwenまたはLlamaモデルと同じ方法で利用できます。

例えば、vLLMを使用して簡単にサービスを開始できます。

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

⚠️ 重要提示

これらのモデルを実行する際には、適切な温度（0.5から0.7の間）を設定することをお勧めします。そうしないと、無限の繰り返しや出力の不整合などの問題に遭遇する可能性があります。

📚 ドキュメント

評価結果

DeepSeek-R1の評価

すべてのモデルについて、最大生成長は32,768トークンに設定されています。サンプリングを必要とするベンチマークについては、温度を$0.6$、top-p値を$0.95$に設定し、クエリごとに64の応答を生成してpass@1を推定します。

蒸留モデルの評価

チャットサイトとAPIプラットフォーム

DeepSeekの公式ウェブサイト chat.deepseek.com でDeepSeek-R1とチャットすることができます。「DeepThink」ボタンをオンにすることができます。

また、DeepSeekプラットフォーム platform.deepseek.com でOpenAI互換APIも提供しています。

🔧 技術詳細

事後訓練：ベースモデルでの大規模強化学習

• 事前ステップとしての教師あり微調整（SFT）に依存せずに、ベースモデルに直接強化学習（RL）を適用します。このアプローチにより、モデルは複雑な問題を解決するための思考連鎖（CoT）を探索することができ、DeepSeek-R1-Zeroの開発につながりました。DeepSeek-R1-Zeroは、自己検証、反省、長いCoTの生成などの能力を示し、研究コミュニティにとって重要なマイルストーンとなりました。特に、LLMの推論能力がSFTを必要とせずに純粋にRLを通じて促進されることを検証した最初のオープンリサーチです。この画期的な成果は、この分野の将来の進歩に道を開きます。
• DeepSeek-R1を開発するためのパイプラインを導入します。このパイプラインは、改善された推論パターンを発見し、人間の好みに合わせることを目的とした2つのRLステージと、モデルの推論および非推論能力のシードとして機能する2つのSFTステージを組み込んでいます。このパイプラインは、より良いモデルを作成することで業界に貢献すると考えています。

蒸留：小規模モデルも強力です

• 大規模モデルの推論パターンを小規模モデルに蒸留することができ、小規模モデルでRLを通じて発見された推論パターンと比較して、より良い性能をもたらすことを示しています。オープンソースのDeepSeek-R1とそのAPIは、将来的により良い小規模モデルを蒸留するために研究コミュニティに役立つでしょう。
• DeepSeek-R1によって生成された推論データを使用して、研究コミュニティで広く使用されているいくつかの高密度モデルを微調整しました。評価結果は、蒸留された小規模高密度モデルがベンチマークで非常に良好な性能を発揮することを示しています。Qwen2.5とLlama3シリーズに基づいて蒸留された1.5B、7B、8B、14B、32B、および70Bのチェックポイントをコミュニティにオープンソース化します。

📄 ライセンス

このコードリポジトリとモデルの重みは、MITライセンスの下でライセンスされています。DeepSeek-R1シリーズは商用利用をサポートしており、他のLLMの訓練のための蒸留を含む、あらゆる変更や派生作品を許可しています。ただし、以下の点に注意してください。

• DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B、およびDeepSeek-R1-Distill-Qwen-32Bは、Qwen-2.5シリーズに基づいて派生したもので、元はApache 2.0ライセンスの下でライセンスされており、現在はDeepSeek-R1で選りすぐった800kのサンプルで微調整されています。
• DeepSeek-R1-Distill-Llama-8Bは、Llama3.1-8B-Baseに基づいて派生したもので、元はllama3.1ライセンスの下でライセンスされています。
• DeepSeek-R1-Distill-Llama-70Bは、Llama3.3-70B-Instructに基づいて派生したもので、元はllama3.3ライセンスの下でライセンスされています。

お問い合わせ

何か質問があれば、イシューを立てるか、service@deepseek.comまでご連絡ください。