Deepseek R1 Distill Llama 70B FP8 Dynamic

🚀 DeepSeek-R1-Distill-Llama-70B-FP8-dynamic

これは DeepSeek-R1-Distill-Llama-70B の量子化バージョンです。重みと活性化を FP8 データ型に量子化することで、ディスク容量と GPU メモリの要件を削減し、推論性能を大幅に向上させています。

🚀 クイックスタート

vLLM を使用したモデルのデプロイ

このモデルは vLLM バックエンドを使用して効率的にデプロイできます。以下にサンプルコードを示します。

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

number_gpus = 2
model_name = "neuralmagic/DeepSeek-R1-Distill-Llama-70B-FP8-dynamic"

tokenizer = AutoTokenizer.from_pretrained(model_name)
sampling_params = SamplingParams(temperature=0.6, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])
llm = LLM(model=model_name, tensor_parallel_size=number_gpus, trust_remote_code=True)

messages_list = [
    [{"role": "user", "content": "Who are you? Please respond in pirate speak!"}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

vLLM は OpenAI 互換のサービスもサポートしています。詳細については ドキュメント を参照してください。

✨ 主な機能

• モデルアーキテクチャ：LlamaForCausalLM。入力と出力はテキストです。
• モデル最適化：
  • 重みの量子化：FP8
  • 活性化の量子化：FP8
• リリース日：2025 年 2 月 1 日
• バージョン：1.0
• モデル開発者：Neural Magic

DeepSeek-R1-Distill-Llama-70B の重みと活性化を FP8 データ型に量子化することで、各パラメータのビット数を 16 ビットから 8 ビットに削減し、ディスク容量と GPU メモリの要件を約 50% 削減しています。量子化は Transformer ブロック内の線形演算子の重みと活性化にのみ適用され、重みは対称的なチャネルごとのスキームで、活性化は対称的なトークンごとのスキームで行われます。量子化には LLM Compressor が使用されています。

📦 インストール

ドキュメントで具体的なインストール手順は記載されていません。vLLM と関連する依存関係の公式ドキュメントを参照してインストールしてください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

number_gpus = 2
model_name = "neuralmagic/DeepSeek-R1-Distill-Llama-70B-FP8-dynamic"

tokenizer = AutoTokenizer.from_pretrained(model_name)
sampling_params = SamplingParams(temperature=0.6, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])
llm = LLM(model=model_name, tensor_parallel_size=number_gpus, trust_remote_code=True)

messages_list = [
    [{"role": "user", "content": "Who are you? Please respond in pirate speak!"}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

モデル作成の例

このモデルは llm-compressor を使用して作成されます。以下のコードスニペットを実行してください。

from transformers import AutoModelForCausalLM, AutoTokenizer
from llmcompressor.modifiers.quantization import QuantizationModifier
from llmcompressor.transformers import oneshot
from llmcompressor.transformers.compression.helpers import calculate_offload_device_map
import os

# Load model
model_stub = "deepseek-ai/DeepSeek-R1-Distill-Llama-70B"
model_name = model_stub.split("/")[-1]

device_map = calculate_offload_device_map(
    model_stub,
    reserve_for_hessians=True,
    num_gpus=2,
    torch_dtype="auto",
)

model = AutoModelForCausalLM.from_pretrained(
    model_stub,
    device_map=device_map,
    torch_dtype="auto",
)

tokenizer = AutoTokenizer.from_pretrained(model_stub)

# Configure the quantization algorithm and scheme
recipe = QuantizationModifier(
    targets="Linear",
    scheme="FP8_DYNAMIC",
    ignore=["lm_head"],
)

# Apply quantization
oneshot(
    model=model,
    recipe=recipe,
)

# Save to disk in compressed-tensors format
save_path = model_name + "-FP8-dynamic"
model.save_pretrained(save_path)
tokenizer.save_pretrained(save_path)
print(f"Model and tokenizer saved to: {save_path}")

📚 ドキュメント

評価

このモデルは OpenLLM ランキング V1 と V2 で評価されています。以下のコマンドを使用します。

OpenLLM ランキング V1：

lm_eval \
  --model vllm \
  --model_args pretrained="neuralmagic/DeepSeek-R1-Distill-Llama-70B-FP8-dynamic",dtype=auto,max_model_len=4096,tensor_parallel_size=2,enable_chunked_prefill=True \
  --tasks openllm \
  --write_out \
  --batch_size auto \
  --output_path output_dir \
  --show_config

OpenLLM ランキング V2：

lm_eval \
  --model vllm \
  --model_args pretrained="neuralmagic/DeepSeek-R1-Distill-Llama-70B-FP8-dynamic",dtype=auto,max_model_len=4096,tensor_parallel_size=2,enable_chunked_prefill=True \
  --apply_chat_template \
  --fewshot_as_multiturn \
  --tasks leaderboard \
  --write_out \
  --batch_size auto \
  --output_path output_dir \
  --show_config

正解率

推論性能

このモデルは、単一ストリームのデプロイで最大 1.4 倍、マルチストリーム非同期デプロイで最大 3.0 倍の高速化を実現できます。これはハードウェアと使用シナリオによって異なります。以下のパフォーマンスベンチマークは vLLM バージョン 0.7.2 と GuideLLM を使用して行われています。

guidellm --model neuralmagic/DeepSeek-R1-Distill-Llama-70B-FP8-dynamic --target "http://localhost:8000/v1" --data-type emulated --data "prompt_tokens=<prompt_tokens>,generated_tokens=<generated_tokens>" --max seconds 360 --backend aiohttp_server

単一ストリームのパフォーマンス（vLLM バージョン 0.7.2 で測定）

使用例設定ファイル：プロンプトトークン / 生成トークン

**QPD：1 ドルあたりのクエリ数。Lambda Labs のオンデマンドコスト（2025 年 2 月 18 日の観測値）に基づいています。

マルチストリーム非同期パフォーマンス（vLLM バージョン 0.7.2 で測定）

使用例設定ファイル：プロンプトトークン / 生成トークン

QPS：1 秒あたりのクエリ数

**QPD：1 ドルあたりのクエリ数。Lambda Labs のオンデマンドコスト（2025 年 2 月 18 日の観測値）に基づいています。

📄 ライセンス

このプロジェクトは MIT ライセンスの下で提供されています。