Deepseek R1 Distill Qwen 32B Unsloth Bnb 4bit

🚀 DeepSeek-R1

Unslothを介して、大規模言語モデル（LLM）の微調整を2～5倍高速化し、メモリ使用量を70％削減できます！

🚀 クイックスタート

Qwen2.5 (7B) 用の無料のGoogle Colab Tesla T4ノートブックがこちらにあります：リンク

✨ 主な機能

• UnslothのDeepSeek-R1の1.58-bit + 2-bit Dynamic Quantsは選択的に量子化されており、標準的な1-bit/2-bitよりも精度が大幅に向上しています。
• 様々なLLMモデルに対応した無料の微調整用ノートブックを提供しています。各モデルの微調整では、高速化とメモリ使用量の削減が可能です。

📦 インストール

DeepSeek-R1-Distillモデルを使用する場合は、以下の例のように起動できます。

vLLMを使用した起動

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

SGLangを使用した起動

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

💻 使用例

基本的な使用法

DeepSeek-R1シリーズのモデルを使用する際は、以下の設定を推奨します。

1. 温度を0.5～0.7の範囲（推奨値は0.6）に設定して、無限の繰り返しや不整合な出力を防ぎます。
2. システムプロンプトを追加しないでください。すべての指示はユーザープロンプトに含める必要があります。
3. 数学の問題の場合は、プロンプトに「Please reason step by step, and put your final answer within \boxed{}」のような指示を含めることをおすすめします。
4. モデルの性能を評価する際は、複数回のテストを行い、結果を平均することを推奨します。

📚 ドキュメント

1. 導入

DeepSeek-R1-ZeroとDeepSeek-R1という第1世代の推論モデルを紹介します。DeepSeek-R1-Zeroは、事前学習として教師あり微調整（SFT）を行わずに大規模強化学習（RL）で訓練されたモデルで、推論性能が顕著です。しかし、無限の繰り返し、読みにくさ、言語の混合などの問題があります。これらの問題を解決し、推論性能をさらに向上させるために、RLの前にコールドスタートデータを組み込んだDeepSeek-R1を導入しました。DeepSeek-R1は、数学、コード、推論タスクでOpenAI-o1に匹敵する性能を達成しています。

2. モデルの概要

事後学習: ベースモデルでの大規模強化学習

• 事前学習としてSFTに依存せずに、ベースモデルに直接強化学習（RL）を適用し、DeepSeek-R1-Zeroを開発しました。このアプローチにより、モデルは複雑な問題を解決するための思考の連鎖（CoT）を探索できます。
• DeepSeek-R1を開発するためのパイプラインを導入しました。このパイプラインには、改善された推論パターンを発見し、人間の好みに合わせるための2つのRL段階と、モデルの推論および非推論能力の種として機能する2つのSFT段階が含まれています。

蒸留: 小さいモデルでも強力です

• 大きなモデルの推論パターンを小さいモデルに蒸留することができ、小さいモデルでRLを行って発見された推論パターンよりも性能が向上します。
• DeepSeek-R1で生成された推論データを使用して、研究コミュニティで広く使用されているいくつかの高密度モデルを微調整しました。評価結果は、蒸留された小さい高密度モデルがベンチマークで非常に良好な性能を発揮することを示しています。

3. モデルのダウンロード

DeepSeek-R1モデル

DeepSeek-R1-Distillモデル

4. 評価結果

DeepSeek-R1の評価

すべてのモデルの最大生成長は32,768トークンに設定されています。サンプリングが必要なベンチマークでは、温度を0.6、top-p値を0.95に設定し、クエリごとに64の応答を生成してpass@1を推定します。

蒸留モデルの評価

5. チャットウェブサイトとAPIプラットフォーム

DeepSeekの公式ウェブサイト chat.deepseek.com でDeepSeek-R1とチャットできます。「DeepThink」ボタンをオンにしてください。また、DeepSeekプラットフォーム platform.deepseek.com でOpenAI互換APIも提供しています。

6. ローカルでの実行方法

DeepSeek-R1モデル

DeepSeek-R1をローカルで実行する詳細な情報は、DeepSeek-V3 リポジトリを参照してください。

DeepSeek-R1-Distillモデル

DeepSeek-R1-Distillモデルは、QwenまたはLlamaモデルと同じ方法で利用できます。

7. ライセンス

このコードリポジトリとモデルの重みは、MITライセンス の下でライセンスされています。DeepSeek-R1シリーズは商用利用をサポートしており、任意の変更や派生作品を許可しています。

8. 引用

@misc{deepseekai2025deepseekr1incentivizingreasoningcapability

⚠️ 重要提示

DeepSeek-R1シリーズのモデルをローカルで実行する前に、使用推奨事項 セクションを確認することをおすすめします。

💡 使用建议

1. 温度を0.5～0.7の範囲（推奨値は0.6）に設定して、無限の繰り返しや不整合な出力を防ぎます。
2. システムプロンプトを追加しないでください。すべての指示はユーザープロンプトに含める必要があります。
3. 数学の問題の場合は、プロンプトに「Please reason step by step, and put your final answer within \boxed{}」のような指示を含めることをおすすめします。
4. モデルの性能を評価する際は、複数回のテストを行い、結果を平均することを推奨します。