QWQ 32B FP8

🚀 QwQ-32B-FP8モデル

FP8量子化されたQwQ-32Bモデルで、高速推論が可能です。

🚀 クイックスタート

このモデルを実行するには、Chitu推論フレームワーク(https://github.com/thu-pacman/chitu) の使用をおすすめします。

以下にQwQ-32B-FP8を実行する簡単なコマンドを示します。

torchrun --nproc_per_node 1 \
    --master_port=22525 \
    -m chitu \
    serve.port=21002 \
    infer.cache_type=paged \
    infer.pp_size=1 \
    infer.tp_size=1 \
    models=QwQ-32B-FP8 \
    models.ckpt_dir="your model path" \
    models.tokenizer_path="your model path" \
    dtype=float16 \
    infer.do_load=True \
    infer.max_reqs=1 \
    scheduler.prefill_first.num_tasks=100 \
    infer.max_seq_len=4096 \
    request.max_new_tokens=100 \
    infer.use_cuda_graph=True

✨ 主な機能

モデル概要

FP8量子化されたQwQ-32Bです。

評価

以下の表のテスト結果は、MMLUベンチマークに基づいています。

テストを高速化するために、モデルが長い思考チェーンを生成しないようにしているため、スコアはより長い思考チェーンの場合と異なる可能性があります。

実験では、FP8量子化バージョンの精度はBF16バージョンとほぼ同じで、より高速な推論に使用できます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 ドキュメント

モデル情報

お問い合わせ

質問やサポートが必要な場合は、solution@qingcheng.aiまでご連絡ください。