Qwq 32B FP8 Dynamic

🚀 QwQ-32B-FP8-dynamic

QwQ-32B-FP8-dynamic 是 Qwen/QwQ-32B 的量化版本，通過將權重和激活量化為 FP8 數據類型，減少了磁盤大小和 GPU 內存需求，同時保持了較高的推理性能。

🚀 快速開始

模型概述

• 模型架構：Qwen2ForCausalLM
  • 輸入：文本
  • 輸出：文本
• 模型優化：
  • 權重量化：FP8
  • 激活量化：FP8
• 發佈日期：2025 年 3 月 6 日
• 版本：1.0
• 模型開發者：Neural Magic

模型優化

本模型通過將 Qwen/QwQ-32B 的權重和激活量化為 FP8 數據類型而獲得。這種優化將每個參數的位數從 16 位減少到 8 位，使磁盤大小和 GPU 內存需求大約減少了 50%。

僅對 Transformer 塊內線性算子的權重和激活進行量化。權重使用對稱的逐通道方案進行量化，而激活使用對稱的逐令牌方案進行量化。使用 LLM Compressor 進行量化。

📦 安裝指南

此部分文檔未提供安裝步驟，若有相關需求可參考對應庫的官方文檔。

💻 使用示例

基礎用法

本模型可以使用 vLLM 後端進行高效部署，示例代碼如下：

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

number_gpus = 1
model_name = "neuralmagic/QwQ-32B-FP8-dynamic"

tokenizer = AutoTokenizer.from_pretrained(model_name)
sampling_params = SamplingParams(temperature=0.6, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])
llm = LLM(model=model_name, tensor_parallel_size=number_gpus, trust_remote_code=True)

messages_list = [
    [{"role": "user", "content": "Who are you? Please respond in pirate speak!"}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

vLLM 還支持與 OpenAI 兼容的服務。更多詳細信息請參閱 文檔。

高級用法

本模型使用 llm-compressor 創建，示例代碼如下：

from transformers import AutoModelForCausalLM, AutoTokenizer
from llmcompressor.modifiers.quantization import QuantizationModifier
from llmcompressor.transformers import oneshot
import os

# Load model
model_stub = "Qwen/QwQ-32B"
model_name = model_stub.split("/")[-1]

model = AutoModelForCausalLM.from_pretrained(
    model_stub,
    torch_dtype="auto",
)

tokenizer = AutoTokenizer.from_pretrained(model_stub)

# Configure the quantization algorithm and scheme
recipe = QuantizationModifier(
    targets="Linear",
    scheme="FP8_DYNAMIC",
    ignore=["lm_head"],
)

# Apply quantization
oneshot(
    model=model,
    recipe=recipe,
)

# Save to disk in compressed-tensors format
save_path = model_name + "-FP8-dynamic"
model.save_pretrained(save_path)
tokenizer.save_pretrained(save_path)
print(f"Model and tokenizer saved to: {save_path}")

🔧 技術細節

準確性

📄 許可證

本項目採用 MIT 許可證。