Mistral Small 3.1 24B Instruct 2503 Quantized.w4a16

由RedHatAI開發

這是一個經過INT4量化的Mistral-Small-3.1-24B-Instruct-2503模型，由Red Hat (Neural Magic)優化發佈，適用於快速響應的對話代理和低延遲推理場景。

文本生成圖像

Safetensors

支持多種語言開源協議:Apache-2.0 #INT4量化 #多模態推理 #低延遲對話

下載量 219

發布時間 : 4/15/2025

模型概述

該模型是基於Mistral-Small-3.1-24B-Instruct-2503進行INT4權重量化的版本，減少了約75%的磁盤大小和GPU內存需求，同時保持較好的性能。

模型特點

高效量化

採用INT4權重量化，減少75%的磁盤大小和GPU內存需求

多語言支持

支持24種語言的文本理解和生成

多模態能力

具備文本和圖像理解能力

低延遲推理

優化後適合快速響應的對話代理和函數調用

模型能力

文本生成

對話代理

編程推理

數學推理

長文檔理解

視覺理解

多語言處理

使用案例

對話系統

智能客服

用於構建快速響應的客戶服務對話系統

低延遲響應，支持多語言

代碼輔助

編程助手

幫助開發者理解和生成代碼

支持多種編程語言的代碼補全和解釋

文檔處理

長文檔摘要

自動生成長文檔的摘要和關鍵點

支持8192 tokens的長上下文理解

🚀 Mistral-Small-3.1-24B-Instruct-2503 量化模型（w4a16）

本模型通過將 Mistral-Small-3.1-24B-Instruct-2503 的權重量化為 INT4 數據類型，顯著減少了磁盤大小和 GPU 內存需求，同時在多個基準測試中保持了較高的準確率，適用於多種自然語言處理和視覺理解任務。

🚀 快速開始

本模型可以使用 vLLM 後端高效部署，示例代碼如下：

from vllm import LLM, SamplingParams
from transformers import AutoProcessor

model_id = "RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic"
number_gpus = 1

sampling_params = SamplingParams(temperature=0.7, top_p=0.8, max_tokens=256)
processor = AutoProcessor.from_pretrained(model_id)

messages = [{"role": "user", "content": "Give me a short introduction to large language model."}]

prompts = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)

llm = LLM(model=model_id, tensor_parallel_size=number_gpus)

outputs = llm.generate(prompts, sampling_params)

generated_text = outputs[0].outputs[0].text
print(generated_text)

vLLM 還支持與 OpenAI 兼容的服務，更多詳情請參閱文檔。

✨ 主要特性

模型架構

輸入：文本 / 圖像
輸出：文本

模型優化

權重量化：INT4

適用場景

快速響應的對話代理
低延遲的函數調用
通過微調成為特定領域的專家模型
供愛好者和處理敏感數據的組織進行本地推理
編程和數學推理
長文檔理解
視覺理解

不適用場景

以任何違反適用法律法規（包括貿易合規法律）的方式使用
在模型官方不支持的語言環境中使用

📦 安裝指南

文檔未提及具體安裝步驟，可參考 vLLM 官方文檔進行安裝。

💻 使用示例

基礎用法

from vllm import LLM, SamplingParams
from transformers import AutoProcessor

model_id = "RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic"
number_gpus = 1

sampling_params = SamplingParams(temperature=0.7, top_p=0.8, max_tokens=256)
processor = AutoProcessor.from_pretrained(model_id)

messages = [{"role": "user", "content": "Give me a short introduction to large language model."}]

prompts = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)

llm = LLM(model=model_id, tensor_parallel_size=number_gpus)

outputs = llm.generate(prompts, sampling_params)

generated_text = outputs[0].outputs[0].text
print(generated_text)

📚 詳細文檔

模型創建

本模型使用 llm-compressor 創建，代碼如下：

創建詳情

```python from transformers import AutoProcessor from llmcompressor.modifiers.quantization import GPTQModifier from llmcompressor.transformers import oneshot from llmcompressor.transformers.tracing import TraceableMistral3ForConditionalGeneration from datasets import load_dataset, interleave_datasets from PIL import Image import io

加載模型

model_stub = "mistralai/Mistral-Small-3.1-24B-Instruct-2503" model_name = model_stub.split("/")[-1]

num_text_samples = 1024 num_vision_samples = 1024 max_seq_len = 8192

processor = AutoProcessor.from_pretrained(model_stub)

model = TraceableMistral3ForConditionalGeneration.from_pretrained( model_stub, device_map="auto", torch_dtype="auto", )

僅文本數據子集

def preprocess_text(example): input = { "text": processor.apply_chat_template( example["messages"], add_generation_prompt=False, ), "images": None, } tokenized_input = processor(**input, max_length=max_seq_len, truncation=True) tokenized_input["pixel_values"] = tokenized_input.get("pixel_values", None) tokenized_input["image_sizes"] = tokenized_input.get("image_sizes", None) return tokenized_input

dst = load_dataset("neuralmagic/calibration", name="LLM", split="train").select(range(num_text_samples)) dst = dst.map(preprocess_text, remove_columns=dst.column_names)

文本 + 視覺數據子集

def preprocess_vision(example): messages = [] image = None for message in example["messages"]: message_content = [] for content in message["content"]: if content["type"] == "text": message_content.append({"type": "text", "text": content["text"]}) else: message_content.append({"type": "image"}) image = Image.open(io.BytesIO(content["image"]))

      messages.append(
          {
              "role": message["role"],
              "content": message_content,
          }
      )

  input = {
      "text": processor.apply_chat_template(
          messages,
          add_generation_prompt=False,
      ),
      "images": image,
  }
  tokenized_input = processor(**input, max_length=max_seq_len, truncation=True)
  tokenized_input["pixel_values"] = tokenized_input.get("pixel_values", None)
  tokenized_input["image_sizes"] = tokenized_input.get("image_sizes", None)
  return tokenized_input

dsv = load_dataset("neuralmagic/calibration", name="VLM", split="train").select(range(num_vision_samples)) dsv = dsv.map(preprocess_vision, remove_columns=dsv.column_names)

交錯子集

ds = interleave_datasets((dsv, dst))

配置量化算法和方案

recipe = GPTQModifier( ignore=["language_model.lm_head", "re:vision_tower.", "re:multi_modal_projector."], sequential_targets=["MistralDecoderLayer"], dampening_frac=0.01, targets="Linear", scheme="W4A16", )

定義數據收集器

def data_collator(batch): import torch assert len(batch) == 1 collated = {} for k, v in batch[0].items(): if v is None: continue if k == "input_ids": collated[k] = torch.LongTensor(v) elif k == "pixel_values": collated[k] = torch.tensor(v, dtype=torch.bfloat16) else: collated[k] = torch.tensor(v) return collated

應用量化

oneshot( model=model, dataset=ds, recipe=recipe, max_seq_length=max_seq_len, data_collator=data_collator, num_calibration_samples=num_text_samples + num_vision_samples, )

以壓縮張量格式保存到磁盤

save_path = model_name + "-quantized.w4a16" model.save_pretrained(save_path) processor.save_pretrained(save_path) print(f"模型和分詞器已保存到: {save_path}")

</details>

### 模型評估
本模型在 OpenLLM 排行榜任務（版本 1）、MMLU-pro、GPQA、HumanEval 和 MBPP 上進行了評估。非編碼任務使用 [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness) 評估，編碼任務使用 [evalplus](https://github.com/neuralmagic/evalplus) 的一個分支進行評估。所有評估均使用 [vLLM](https://docs.vllm.ai/en/stable/) 作為引擎。
<details>
<summary>評估詳情</summary>

**MMLU**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks mmlu
--num_fewshot 5
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**ARC Challenge**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks arc_challenge
--num_fewshot 25
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**GSM8k**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.9,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks gsm8k
--num_fewshot 8
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**Hellaswag**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks hellaswag
--num_fewshot 10
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**Winogrande**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks winogrande
--num_fewshot 5
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**TruthfulQA**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks truthfulqa
--num_fewshot 0
--apply_chat_template
--batch_size auto


**MMLU-pro**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks mmlu_pro
--num_fewshot 5
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**MMMU**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.9,max_images=8,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks mmmu_val
--apply_chat_template
--batch_size auto


**ChartQA**


**編碼任務**
以下命令可用於 MBPP，只需替換數據集名稱即可。

*生成代碼*

python3 codegen/generate.py
--model RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16
--bs 16
--temperature 0.2
--n_samples 50
--root "."
--dataset humaneval


*代碼清理*

python3 evalplus/sanitize.py
humaneval/RedHatAI--Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16_vllm_temp_0.2


*代碼評估*

evalplus.evaluate
--dataset humaneval
--samples humaneval/RedHatAI--Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16_vllm_temp_0.2-sanitized

</details>

### 準確率
| 類別 | 基準測試 | Mistral-Small-3.1-24B-Instruct-2503 | Mistral-Small-3.1-24B-Instruct-2503 量化模型（w4a16） | 恢復率 |
| ---- | ---- | ---- | ---- | ---- |
| **OpenLLM v1** | MMLU (5-shot) | 80.67 | 79.74 | 98.9% |
|  | ARC Challenge (25-shot) | 72.78 | 72.18 | 99.2% |
|  | GSM-8K (5-shot, strict-match) | 58.68 | 59.59 | 101.6% |
|  | Hellaswag (10-shot) | 83.70 | 83.25 | 99.5% |
|  | Winogrande (5-shot) | 83.74 | 83.43 | 99.6% |
|  | TruthfulQA (0-shot, mc2) | 70.62 | 69.56 | 98.5% |
|  | **平均** | **75.03** | **74.63** | **99.5%** |
|  | MMLU-Pro (5-shot) | 67.25 | 66.56 | 99.0% |
|  | GPQA CoT main (5-shot) | 42.63 | 47.10 | 110.5% |
|  | GPQA CoT diamond (5-shot) | 45.96 | 44.95 | 97.80% |
| **編碼** | HumanEval pass@1 | 84.70 | 84.60 | 99.9% |
|  | HumanEval+ pass@1 | 79.50 | 79.90 | 100.5% |
|  | MBPP pass@1 | 71.10 | 70.10 | 98.6% |
|  | MBPP+ pass@1 | 60.60 | 60.70 | 100.2% |
| **視覺** | MMMU (0-shot) | 52.11 | 50.11 | 96.2% |
|  | ChartQA (0-shot) | 81.36 | 80.92 | 99.5% |

## 🔧 技術細節
本模型通過將 [Mistral-Small-3.1-24B-Instruct-2503](https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503) 的權重量化為 INT4 數據類型獲得。這種優化將每個參數的位數從 16 位減少到 4 位，使磁盤大小和 GPU 內存需求降低了約 75%。
僅對 Transformer 塊內線性算子的權重進行量化。權重使用對稱的每組方案進行量化，組大小為 128。量化過程應用了 [GPTQ](https://arxiv.org/abs/2210.17323) 算法，該算法在 [llm-compressor](https://github.com/vllm-project/llm-compressor) 庫中實現。

## 📄 許可證
本模型採用 Apache-2.0 許可證。