Devstral Small 2505.w4a16 Gptq

🚀 mistralai/Devstral-Small-2505をGPTQで量子化 (4ビット重みのみ、W4A16)

このリポジトリには、非対称GPTQを使用して4ビットに量子化されたmistralai/Devstral-Small-2505が含まれており、一般のコンシューマー向けハードウェアでの使用に適しています。

このモデルは、データセットnvidia/OpenCodeInstructから最大シーケンス長4096の2048サンプルを使用してキャリブレーションされています。

これは私の2つ目のモデルです。ご提案を歓迎します。特に、Mistralのトークナイザの特性を把握するのは難しかったです。

過学習のリスクを最小限に抑え、収束を最大化するために、デフォルトの512/2048ではなく2048/4096が選択されました。

オリジナルモデル:

• mistralai/Devstral-Small-2505

🚀 クイックスタート

💻 使用例

基本的な使用法

このモデルはvLLMでテストされています。以下は32GB VRAMのGPUに適したスクリプトです。 GPU VRAMの31.2GiBを予約するため、OSをiGPUで実行する必要があります。

export MODEL="mratsim/Devstral-Small-2505.w4a16-gptq"
vllm serve "${MODEL}" \
  --served-model-name devstral-32b \
  --gpu-memory-utilization 0.95 \
  --enable-prefix-caching \
  --enable-chunked-prefill \
  --max-model-len 94000 \
  --max_num_seqs 256 \
  --tokenizer_mode mistral \
  --generation-config "${MODEL}" \
  --enable-auto-tool-choice --tool-call-parser mistral

🔧 技術詳細

🔩 量子化方法

非対称GPTQの次のレシピでllmcompressorライブラリが使用されています。

default_stage:
  default_modifiers:
    GPTQModifier:
      dampening_frac: 0.005
      config_groups:
        group_0:
          targets: [Linear]
          weights: {num_bits: 4, type: int, symmetric: false, group_size: 128, strategy: group,
            dynamic: false, observer: minmax}
      ignore: [lm_head]

そして、データセットnvidia/OpenCodeInstructの2048サンプル、シーケンス長4096でキャリブレーションされています。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。