Mistral Small 3.1 24B Instruct 2503 Quantized.w4a16

由 RedHatAI 开发

这是一个经过INT4量化的Mistral-Small-3.1-24B-Instruct-2503模型，由Red Hat (Neural Magic)优化发布，适用于快速响应的对话代理和低延迟推理场景。

文本生成图像

Safetensors

支持多种语言开源协议:Apache-2.0 #INT4量化 #多模态推理 #低延迟对话

下载量 219

发布时间 : 4/15/2025

模型简介

该模型是基于Mistral-Small-3.1-24B-Instruct-2503进行INT4权重量化的版本，减少了约75%的磁盘大小和GPU内存需求，同时保持较好的性能。

模型特点

高效量化

采用INT4权重量化，减少75%的磁盘大小和GPU内存需求

多语言支持

支持24种语言的文本理解和生成

多模态能力

具备文本和图像理解能力

低延迟推理

优化后适合快速响应的对话代理和函数调用

模型能力

文本生成

对话代理

编程推理

数学推理

长文档理解

视觉理解

多语言处理

使用案例

对话系统

智能客服

用于构建快速响应的客户服务对话系统

低延迟响应，支持多语言

代码辅助

编程助手

帮助开发者理解和生成代码

支持多种编程语言的代码补全和解释

文档处理

长文档摘要

自动生成长文档的摘要和关键点

支持8192 tokens的长上下文理解

🚀 Mistral-Small-3.1-24B-Instruct-2503 量化模型（w4a16）

本模型通过将 Mistral-Small-3.1-24B-Instruct-2503 的权重量化为 INT4 数据类型，显著减少了磁盘大小和 GPU 内存需求，同时在多个基准测试中保持了较高的准确率，适用于多种自然语言处理和视觉理解任务。

🚀 快速开始

本模型可以使用 vLLM 后端高效部署，示例代码如下：

from vllm import LLM, SamplingParams
from transformers import AutoProcessor

model_id = "RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic"
number_gpus = 1

sampling_params = SamplingParams(temperature=0.7, top_p=0.8, max_tokens=256)
processor = AutoProcessor.from_pretrained(model_id)

messages = [{"role": "user", "content": "Give me a short introduction to large language model."}]

prompts = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)

llm = LLM(model=model_id, tensor_parallel_size=number_gpus)

outputs = llm.generate(prompts, sampling_params)

generated_text = outputs[0].outputs[0].text
print(generated_text)

vLLM 还支持与 OpenAI 兼容的服务，更多详情请参阅文档。

✨ 主要特性

模型架构

输入：文本 / 图像
输出：文本

模型优化

权重量化：INT4

适用场景

快速响应的对话代理
低延迟的函数调用
通过微调成为特定领域的专家模型
供爱好者和处理敏感数据的组织进行本地推理
编程和数学推理
长文档理解
视觉理解

不适用场景

以任何违反适用法律法规（包括贸易合规法律）的方式使用
在模型官方不支持的语言环境中使用

📦 安装指南

文档未提及具体安装步骤，可参考 vLLM 官方文档进行安装。

💻 使用示例

基础用法

from vllm import LLM, SamplingParams
from transformers import AutoProcessor

model_id = "RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic"
number_gpus = 1

sampling_params = SamplingParams(temperature=0.7, top_p=0.8, max_tokens=256)
processor = AutoProcessor.from_pretrained(model_id)

messages = [{"role": "user", "content": "Give me a short introduction to large language model."}]

prompts = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)

llm = LLM(model=model_id, tensor_parallel_size=number_gpus)

outputs = llm.generate(prompts, sampling_params)

generated_text = outputs[0].outputs[0].text
print(generated_text)

📚 详细文档

模型创建

本模型使用 llm-compressor 创建，代码如下：

创建详情

```python from transformers import AutoProcessor from llmcompressor.modifiers.quantization import GPTQModifier from llmcompressor.transformers import oneshot from llmcompressor.transformers.tracing import TraceableMistral3ForConditionalGeneration from datasets import load_dataset, interleave_datasets from PIL import Image import io

加载模型

model_stub = "mistralai/Mistral-Small-3.1-24B-Instruct-2503" model_name = model_stub.split("/")[-1]

num_text_samples = 1024 num_vision_samples = 1024 max_seq_len = 8192

processor = AutoProcessor.from_pretrained(model_stub)

model = TraceableMistral3ForConditionalGeneration.from_pretrained( model_stub, device_map="auto", torch_dtype="auto", )

仅文本数据子集

def preprocess_text(example): input = { "text": processor.apply_chat_template( example["messages"], add_generation_prompt=False, ), "images": None, } tokenized_input = processor(**input, max_length=max_seq_len, truncation=True) tokenized_input["pixel_values"] = tokenized_input.get("pixel_values", None) tokenized_input["image_sizes"] = tokenized_input.get("image_sizes", None) return tokenized_input

dst = load_dataset("neuralmagic/calibration", name="LLM", split="train").select(range(num_text_samples)) dst = dst.map(preprocess_text, remove_columns=dst.column_names)

文本 + 视觉数据子集

def preprocess_vision(example): messages = [] image = None for message in example["messages"]: message_content = [] for content in message["content"]: if content["type"] == "text": message_content.append({"type": "text", "text": content["text"]}) else: message_content.append({"type": "image"}) image = Image.open(io.BytesIO(content["image"]))

      messages.append(
          {
              "role": message["role"],
              "content": message_content,
          }
      )

  input = {
      "text": processor.apply_chat_template(
          messages,
          add_generation_prompt=False,
      ),
      "images": image,
  }
  tokenized_input = processor(**input, max_length=max_seq_len, truncation=True)
  tokenized_input["pixel_values"] = tokenized_input.get("pixel_values", None)
  tokenized_input["image_sizes"] = tokenized_input.get("image_sizes", None)
  return tokenized_input

dsv = load_dataset("neuralmagic/calibration", name="VLM", split="train").select(range(num_vision_samples)) dsv = dsv.map(preprocess_vision, remove_columns=dsv.column_names)

交错子集

ds = interleave_datasets((dsv, dst))

配置量化算法和方案

recipe = GPTQModifier( ignore=["language_model.lm_head", "re:vision_tower.", "re:multi_modal_projector."], sequential_targets=["MistralDecoderLayer"], dampening_frac=0.01, targets="Linear", scheme="W4A16", )

定义数据收集器

def data_collator(batch): import torch assert len(batch) == 1 collated = {} for k, v in batch[0].items(): if v is None: continue if k == "input_ids": collated[k] = torch.LongTensor(v) elif k == "pixel_values": collated[k] = torch.tensor(v, dtype=torch.bfloat16) else: collated[k] = torch.tensor(v) return collated

应用量化

oneshot( model=model, dataset=ds, recipe=recipe, max_seq_length=max_seq_len, data_collator=data_collator, num_calibration_samples=num_text_samples + num_vision_samples, )

以压缩张量格式保存到磁盘

save_path = model_name + "-quantized.w4a16" model.save_pretrained(save_path) processor.save_pretrained(save_path) print(f"模型和分词器已保存到: {save_path}")

</details>

### 模型评估
本模型在 OpenLLM 排行榜任务（版本 1）、MMLU-pro、GPQA、HumanEval 和 MBPP 上进行了评估。非编码任务使用 [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness) 评估，编码任务使用 [evalplus](https://github.com/neuralmagic/evalplus) 的一个分支进行评估。所有评估均使用 [vLLM](https://docs.vllm.ai/en/stable/) 作为引擎。
<details>
<summary>评估详情</summary>

**MMLU**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks mmlu
--num_fewshot 5
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**ARC Challenge**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks arc_challenge
--num_fewshot 25
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**GSM8k**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.9,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks gsm8k
--num_fewshot 8
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**Hellaswag**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks hellaswag
--num_fewshot 10
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**Winogrande**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks winogrande
--num_fewshot 5
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**TruthfulQA**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks truthfulqa
--num_fewshot 0
--apply_chat_template
--batch_size auto


**MMLU-pro**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks mmlu_pro
--num_fewshot 5
--apply_chat_template
--fewshot_as_multiturn
--batch_size auto


**MMMU**

lm_eval
--model vllm
--model_args pretrained="RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16",dtype=auto,gpu_memory_utilization=0.9,max_images=8,enable_chunk_prefill=True,tensor_parallel_size=2
--tasks mmmu_val
--apply_chat_template
--batch_size auto


**ChartQA**


**编码任务**
以下命令可用于 MBPP，只需替换数据集名称即可。

*生成代码*

python3 codegen/generate.py
--model RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16
--bs 16
--temperature 0.2
--n_samples 50
--root "."
--dataset humaneval


*代码清理*

python3 evalplus/sanitize.py
humaneval/RedHatAI--Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16_vllm_temp_0.2


*代码评估*

evalplus.evaluate
--dataset humaneval
--samples humaneval/RedHatAI--Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16_vllm_temp_0.2-sanitized

</details>

### 准确率
| 类别 | 基准测试 | Mistral-Small-3.1-24B-Instruct-2503 | Mistral-Small-3.1-24B-Instruct-2503 量化模型（w4a16） | 恢复率 |
| ---- | ---- | ---- | ---- | ---- |
| **OpenLLM v1** | MMLU (5-shot) | 80.67 | 79.74 | 98.9% |
|  | ARC Challenge (25-shot) | 72.78 | 72.18 | 99.2% |
|  | GSM-8K (5-shot, strict-match) | 58.68 | 59.59 | 101.6% |
|  | Hellaswag (10-shot) | 83.70 | 83.25 | 99.5% |
|  | Winogrande (5-shot) | 83.74 | 83.43 | 99.6% |
|  | TruthfulQA (0-shot, mc2) | 70.62 | 69.56 | 98.5% |
|  | **平均** | **75.03** | **74.63** | **99.5%** |
|  | MMLU-Pro (5-shot) | 67.25 | 66.56 | 99.0% |
|  | GPQA CoT main (5-shot) | 42.63 | 47.10 | 110.5% |
|  | GPQA CoT diamond (5-shot) | 45.96 | 44.95 | 97.80% |
| **编码** | HumanEval pass@1 | 84.70 | 84.60 | 99.9% |
|  | HumanEval+ pass@1 | 79.50 | 79.90 | 100.5% |
|  | MBPP pass@1 | 71.10 | 70.10 | 98.6% |
|  | MBPP+ pass@1 | 60.60 | 60.70 | 100.2% |
| **视觉** | MMMU (0-shot) | 52.11 | 50.11 | 96.2% |
|  | ChartQA (0-shot) | 81.36 | 80.92 | 99.5% |

## 🔧 技术细节
本模型通过将 [Mistral-Small-3.1-24B-Instruct-2503](https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503) 的权重量化为 INT4 数据类型获得。这种优化将每个参数的位数从 16 位减少到 4 位，使磁盘大小和 GPU 内存需求降低了约 75%。
仅对 Transformer 块内线性算子的权重进行量化。权重使用对称的每组方案进行量化，组大小为 128。量化过程应用了 [GPTQ](https://arxiv.org/abs/2210.17323) 算法，该算法在 [llm-compressor](https://github.com/vllm-project/llm-compressor) 库中实现。

## 📄 许可证
本模型采用 Apache-2.0 许可证。