Deepseek R1 Quantized.w4a16

🚀 DeepSeek-R1-quantized.w4a16

このモデルは、DeepSeek-R1 の重みをINT4データ型に量子化することで得られたもので、GPUメモリとディスクサイズの要件を約50%削減します。

🚀 クイックスタート

このモデルは、vLLM バックエンドを使用して効率的にデプロイできます。以下に例を示します。

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

model_id = "RedHatAI/DeepSeek-R1-quantized.w4a16"
number_gpus = 8

sampling_params = SamplingParams(temperature=0.7, top_p=0.8, max_tokens=256)

tokenizer = AutoTokenizer.from_pretrained(model_id)

prompt = "Give me a short introduction to large language model."

llm = LLM(model=model_id, tensor_parallel_size=number_gpus)

outputs = llm.generate(prompt, sampling_params)

generated_text = outputs[0].outputs[0].text
print(generated_text)

vLLMはOpenAI互換のサービングもサポートしています。詳細はドキュメントを参照してください。

✨ 主な機能

モデル概要

• モデルアーキテクチャ: DeepseekV3ForCausalLM
  • 入力: テキスト
  • 出力: テキスト
• モデル最適化:
  • 活性化量子化: なし
  • 重み量子化: INT4
• リリース日: 2025年4月15日
• バージョン: 1.0
• モデル開発者: Red Hat (Neural Magic)

モデル最適化

このモデルは、DeepSeek-R1 の重みをINT4データ型に量子化することで得られました。この最適化により、重みを表すために使用されるビット数が8から4に減少し、GPUメモリ要件が約50%削減されます。また、重み量子化によりディスクサイズ要件も約50%削減されます。

📚 ドキュメント

評価

このモデルは、lm-evaluation-harness を介してOpenLLMリーダーボードタスク (v1) で評価され、LightEval を介して人気の推論タスク (AIME 2024、MATH-500、GPQA-Diamond) で評価されました。推論評価では、異なるシードを使用した10回の実行に基づいてpass@1を推定します。

lm_eval \
  --model vllm \
  --model_args pretrained="RedHatAI/DeepSeek-R1-quantized.w4a16",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=8,gpu_memory_utilization=0.8,enable_chunked_prefill=True,trust_remote_code=True \
  --tasks openllm \
  --batch_size auto

export MODEL_ARGS="pretrained=RedHatAI/DeepSeek-R1-quantized.w4a16,dtype=bfloat16,max_model_length=38768,gpu_memory_utilization=0.8,tensor_parallel_size=8,add_special_tokens=false,generation_parameters={\"max_new_tokens\":32768,\"temperature\":0.6,\"top_p\":0.95,\"seed\":42}"
export VLLM_WORKER_MULTIPROC_METHOD=spawn
lighteval vllm $MODEL_ARGS "custom|aime24|0|0,custom|math_500|0|0,custom|gpqa:diamond|0|0" \
    --custom-tasks src/open_r1/evaluate.py \
    --use-chat-template \
    --output-dir $OUTPUT_DIR

精度

📄 ライセンス

このモデルはMITライセンスの下で提供されています。