QWQ 32B FP8

🚀 FP8量化QwQ - 32B模型

這是一個基於Qwen/QwQ - 32B的FP8量化模型，在推理速度和精度上取得了良好平衡，可用於快速推理任務。

🚀 快速開始

我們推薦使用赤兔推理框架（https://github.com/thu - pacman/chitu）來運行此模型。以下是一個簡單的命令示例，展示如何運行QwQ - 32B - FP8：

torchrun --nproc_per_node 1 \
    --master_port=22525 \
    -m chitu \
    serve.port=21002 \
    infer.cache_type=paged \
    infer.pp_size=1 \
    infer.tp_size=1 \
    models=QwQ-32B-FP8 \
    models.ckpt_dir="your model path" \
    models.tokenizer_path="your model path" \
    dtype=float16 \
    infer.do_load=True \
    infer.max_reqs=1 \
    scheduler.prefill_first.num_tasks=100 \
    infer.max_seq_len=4096 \
    request.max_new_tokens=100 \
    infer.use_cuda_graph=True

✨ 主要特性

• FP8量化：對QwQ - 32B模型進行FP8量化，在保證精度的同時提升推理速度。
• 高精度：在MMLU基準測試中，FP8量化版本的準確率與BF16版本幾乎相同。

📚 詳細文檔

模型描述

FP8量化的QwQ - 32B模型。

評估結果

以下表格中的測試結果基於MMLU基準測試。為了加快測試速度，我們限制了模型生成的思維鏈長度，因此分數可能與更長思維鏈的情況有所不同。在我們的實驗中，FP8量化版本的準確率與BF16版本幾乎相同，可用於更快的推理。

📄 許可證

本項目採用Apache - 2.0許可證。

📞 聯繫我們

如有任何問題，請通過郵箱solution@qingcheng.ai聯繫我們。