Deepseek R1 Distill Qwen 32B Quantized.w8a8

🚀 DeepSeek-R1-Distill-Qwen-32B量化模型（w8a8）

本项目是 DeepSeek-R1-Distill-Qwen-32B 的量化版本，通过将权重和激活值量化为INT8数据类型，显著降低了GPU内存需求，提升了计算吞吐量。

🚀 快速开始

使用vLLM部署模型

本模型可以使用 vLLM 后端高效部署，示例代码如下：

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

number_gpus = 1
model_name = "neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8"

tokenizer = AutoTokenizer.from_pretrained(model_name)
sampling_params = SamplingParams(temperature=0.6, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])
llm = LLM(model=model_name, tensor_parallel_size=number_gpus, trust_remote_code=True)

messages_list = [
    [{"role": "user", "content": "Who are you? Please respond in pirate speak!"}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

vLLM还支持OpenAI兼容的服务，更多详情请参阅 文档。

✨ 主要特性

• 模型架构：采用Qwen2ForCausalLM架构，输入和输出均为文本。
• 模型优化：将权重和激活值量化为INT8数据类型，减少GPU内存需求约50%，提高矩阵乘法计算吞吐量约2倍，同时磁盘空间需求也减少约50%。
• 推理性能：单流部署时最高可达1.8倍加速，多流异步部署时最高可达2.2倍加速。

📦 安装指南

文档未提及具体安装步骤，可参考相关依赖库（如 transformers、vLLM、llm-compressor 等）的官方文档进行安装。

💻 使用示例

基础用法

使用vLLM进行推理的基础代码示例：

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

number_gpus = 1
model_name = "neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8"

tokenizer = AutoTokenizer.from_pretrained(model_name)
sampling_params = SamplingParams(temperature=0.6, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])
llm = LLM(model=model_name, tensor_parallel_size=number_gpus, trust_remote_code=True)

messages_list = [
    [{"role": "user", "content": "Who are you? Please respond in pirate speak!"}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

高级用法

使用 llm-compressor 创建模型的代码示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
from llmcompressor.modifiers.quantization import QuantizationModifier
from llmcompressor.modifiers.smoothquant import SmoothQuantModifier
from llmcompressor.transformers import oneshot

# Load model
model_stub = "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"
model_name = model_stub.split("/")[-1]

num_samples = 1024
max_seq_len = 8192

tokenizer = AutoTokenizer.from_pretrained(model_stub)

model = AutoModelForCausalLM.from_pretrained(
    model_stub,
    device_map="auto",
    torch_dtype="auto",
)

def preprocess_fn(example):
  return {"text": tokenizer.apply_chat_template(example["messages"], add_generation_prompt=False, tokenize=False)}

ds = load_dataset("neuralmagic/LLM_compression_calibration", split="train")
ds = ds.map(preprocess_fn)

# Configure the quantization algorithm and scheme
recipe = [
    SmoothQuantModifier(smoothing_strength=0.8),
    QuantizationModifier(
        targets="Linear",
        scheme="W8A8",
        ignore=["lm_head"],
        dampening_frac=0.01,
    ),
]

# Apply quantization
oneshot(
    model=model,
    dataset=ds, 
    recipe=recipe,
    max_seq_length=max_seq_len,
    num_calibration_samples=num_samples,
)

# Save to disk in compressed-tensors format
save_path = model_name + "-quantized.w8a8"
model.save_pretrained(save_path)
tokenizer.save_pretrained(save_path)
print(f"Model and tokenizer saved to: {save_path}")

📚 详细文档

模型评估

本模型在OpenLLM排行榜 V1 和 V2 上进行了评估，评估命令如下：

OpenLLM Leaderboard V1:

lm_eval \
  --model vllm \
  --model_args pretrained="neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8",dtype=auto,max_model_len=4096,tensor_parallel_size=1,enable_chunked_prefill=True \
  --tasks openllm \
  --write_out \
  --batch_size auto \
  --output_path output_dir \
  --show_config

OpenLLM Leaderboard V2:

lm_eval \
  --model vllm \
  --model_args pretrained="neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8",dtype=auto,max_model_len=4096,tensor_parallel_size=1,enable_chunked_prefill=True \
  --apply_chat_template \
  --fewshot_as_multiturn \
  --tasks leaderboard \
  --write_out \
  --batch_size auto \
  --output_path output_dir \
  --show_config

评估结果

推理性能

本模型在不同硬件和使用场景下的推理性能如下：

单流性能（使用vLLM版本0.7.2测量）

| GPU类型 | GPU数量 | 模型 | 平均成本降低 | 指令跟随
256 / 128
延迟 (s) | 指令跟随
256 / 128
QPD | 多轮对话
512 / 256
延迟 (s) | 多轮对话
512 / 256
QPD | 文档字符串生成
768 / 128
延迟 (s) | 文档字符串生成
768 / 128
QPD | RAG
1024 / 128
延迟 (s) | RAG
1024 / 128
QPD | 代码补全
256 / 1024
延迟 (s) | 代码补全
256 / 1024
QPD | 代码修复
1024 / 1024
延迟 (s) | 代码修复
1024 / 1024
QPD | 大摘要
4096 / 512
延迟 (s) | 大摘要
4096 / 512
QPD | 大RAG
10240 / 1536
延迟 (s) | 大RAG
10240 / 1536
QPD | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | A6000 | 2 | deepseek-ai/DeepSeek-R1-Distill-Qwen-32B | --- | 6.3 | 359 | 12.8 | 176 | 6.5 | 347 | 6.6 | 342 | 49.9 | 45 | 50.8 | 44 | 26.6 | 85 | 83.4 | 27 | | | 1 | neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8 | 1.81 | 6.9 | 648 | 13.8 | 325 | 7.2 | 629 | 7.2 | 622 | 54.8 | 82 | 55.6 | 81 | 30.0 | 150 | 94.8 | 47 | | | 1 | neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16 | 3.07 | 3.9 | 1168 | 7.8 | 580 | 4.3 | 1041 | 4.6 | 975 | 29.7 | 151 | 30.9 | 146 | 19.3 | 233 | 61.4 | 73 | | A100 | 1 | deepseek-ai/DeepSeek-R1-Distill-Qwen-32B | --- | 5.6 | 361 | 11.1 | 180 | 5.7 | 350 | 5.8 | 347 | 44.0 | 46 | 44.7 | 45 | 23.6 | 85 | 73.7 | 27 | | | 1 | neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8 | 1.50 | 3.7 | 547 | 7.3 | 275 | 3.8 | 536 | 3.8 | 528 | 29.0 | 69 | 29.5 | 68 | 15.7 | 128 | 53.1 | 38 | | | 1 | neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16 | 2.30 | 2.2 | 894 | 4.5 | 449 | 2.4 | 831 | 2.5 | 798 | 17.4 | 116 | 18.0 | 112 | 10.5 | 191 | 49.5 | 41 | | H100 | 1 | deepseek-ai/DeepSeek-R1-Distill-Qwen-32B | --- | 3.3 | 327 | 6.7 | 163 | 3.4 | 320 | 3.4 | 317 | 26.6 | 41 | 26.9 | 41 | 14.3 | 77 | 47.8 | 23 | | | 1 | neuralmagic/DeepSeek-R1-Distill-Qwen-32B-FP8-dynamic | 1.52 | 2.2 | 503 | 4.3 | 252 | 2.2 | 490 | 2.3 | 485 | 17.3 | 63 | 17.5 | 63 | 9.5 | 116 | 33.4 | 33 | | | 1 | neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16 | 1.61 | 2.1 | 532 | 4.1 | 268 | 2.1 | 516 | 2.1 | 513 | 16.1 | 68 | 16.5 | 66 | 9.1 | 120 | 31.9 | 34 |

多流异步性能（使用vLLM版本0.7.2测量）

使用场景配置文件：提示词令牌 / 生成令牌

QPS：每秒查询次数

QPD：每美元查询次数，基于 Lambda Labs 的按需成本（2025年2月18日观测）

🔧 技术细节

量化方案

仅对Transformer块内线性算子的权重和激活值进行量化。权重采用对称的逐通道量化方案，激活值采用对称的逐令牌量化方案。量化算法使用 GPTQ 算法，具体实现基于 llm-compressor 库。

基准测试命令

guidellm --model neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8 --target "http://localhost:8000/v1" --data-type emulated --data "prompt_tokens=<prompt_tokens>,generated_tokens=<generated_tokens>" --max seconds 360 --backend aiohttp_server

📄 许可证

本项目采用MIT许可证。