Devstral Small 2505.w4a16 Gptq

🚀 mistralai/Devstral-Small-2505 採用 GPTQ 進行 4 位量化（僅權重 4 位，W4A16）

本倉庫包含使用非對稱 GPTQ 量化為 4 位的 mistralai/Devstral-Small-2505 模型，使其適用於消費級硬件。

該模型使用來自數據集 nvidia/OpenCodeInstruct 的 2048 個最大序列長度為 4096 的樣本進行校準。

這是我的第二個模型，歡迎大家提出建議。特別是 Mistral 的分詞器特性比較難琢磨。

選擇 2048/4096 而非默認的 512/2048，是為了最小化過擬合風險並最大化收斂性。

原始模型：

• mistralai/Devstral-Small-2505

🚀 快速開始

✨ 主要特性

• 本倉庫的模型使用非對稱 GPTQ 量化為 4 位，適配消費級硬件。
• 採用 2048 個最大序列長度為 4096 的樣本進行校準。
• 選擇 2048/4096 以降低過擬合風險並提高收斂性。

📦 安裝指南

暫未提供相關安裝步驟。

💻 使用示例

基礎用法

該模型已使用 vLLM 進行測試，以下是適用於 32GB VRAM GPU 的腳本。它會預留 31.2GiB 的 GPU VRAM，因此你應該在集成顯卡上運行操作系統。

export MODEL="mratsim/Devstral-Small-2505.w4a16-gptq"
vllm serve "${MODEL}" \
  --served-model-name devstral-32b \
  --gpu-memory-utilization 0.95 \
  --enable-prefix-caching \
  --enable-chunked-prefill \
  --max-model-len 94000 \
  --max_num_seqs 256 \
  --tokenizer_mode mistral \
  --generation-config "${MODEL}" \
  --enable-auto-tool-choice --tool-call-parser mistral

🔧 技術細節

量化方法

使用 llmcompressor 庫，採用以下非對稱 GPTQ 配方：

default_stage:
  default_modifiers:
    GPTQModifier:
      dampening_frac: 0.005
      config_groups:
        group_0:
          targets: [Linear]
          weights: {num_bits: 4, type: int, symmetric: false, group_size: 128, strategy: group,
            dynamic: false, observer: minmax}
      ignore: [lm_head]

並在來自 nvidia/OpenCodeInstruct 的 2048 個樣本、序列長度為 4096 的數據上進行校準。

📄 許可證

本項目採用 Apache-2.0 許可證。