Qwen2.5 VL 7B Instruct Quantized.w8a8
Qwen2.5-VL-7B-Instruct的量化版本,支持視覺-文本輸入和文本輸出,通過INT8權重量化優化推理效率
下載量 1,992
發布時間 : 2/7/2025
模型概述
基於Qwen2.5-VL-7B-Instruct的量化模型,專為高效視覺-語言任務設計,適用於需要結合圖像理解和文本生成的應用場景
模型特點
高效INT8量化
採用W8A8量化方案,在保持模型性能的同時顯著提升推理效率
多模態支持
能夠同時處理視覺和文本輸入,實現圖像理解和文本生成的聯合任務
vLLM優化
專為vLLM推理引擎優化,支持高效部署和大規模服務
模型能力
視覺問答
圖像描述生成
多模態推理
文檔理解
圖表分析
使用案例
教育
教材內容理解
幫助學生理解教材中的圖表和插圖內容
在MMMU基準測試上達到52.33%準確率
商業
文檔分析
自動解析商業文檔中的表格和圖表信息
在DocVQA基準測試上達到94.09 ANLS分數
🚀 Qwen2.5-VL-7B-Instruct-quantized-w8a8
本項目是 Qwen/Qwen2.5-VL-7B-Instruct 的量化版本,通過將權重量化為INT8數據類型,可使用 vLLM >= 0.5.2 進行推理,在單流和多流部署中均有性能提升。
🚀 快速開始
使用 vLLM 進行部署
本模型可以使用 vLLM 後端進行高效部署,示例代碼如下:
from vllm.assets.image import ImageAsset
from vllm import LLM, SamplingParams
# 準備模型
llm = LLM(
model="neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w8a8",
trust_remote_code=True,
max_model_len=4096,
max_num_seqs=2,
)
# 準備輸入
question = "What is the content of this image?"
inputs = {
"prompt": f"<|user|>\n<|image_1|>\n{question}<|end|>\n<|assistant|>\n",
"multi_modal_data": {
"image": ImageAsset("cherry_blossom").pil_image.convert("RGB")
},
}
# 生成響應
print("========== SAMPLE GENERATION ==============")
outputs = llm.generate(inputs, SamplingParams(temperature=0.2, max_tokens=64))
print(f"PROMPT : {outputs[0].prompt}")
print(f"RESPONSE: {outputs[0].outputs[0].text}")
print("==========================================")
vLLM 還支持兼容 OpenAI 的服務,更多詳情請參閱 文檔。
✨ 主要特性
- 模型架構:基於 Qwen/Qwen2.5-VL-7B-Instruct,輸入為視覺 - 文本,輸出為文本。
- 模型優化:權重量化為 INT8,激活量化為 INT8。
- 發佈日期:2025 年 2 月 24 日。
- 版本:1.0
- 模型開發者:Neural Magic
📦 安裝指南
文檔未提及安裝步驟,暫不提供。
💻 使用示例
基礎用法
from vllm.assets.image import ImageAsset
from vllm import LLM, SamplingParams
# 準備模型
llm = LLM(
model="neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w8a8",
trust_remote_code=True,
max_model_len=4096,
max_num_seqs=2,
)
# 準備輸入
question = "What is the content of this image?"
inputs = {
"prompt": f"<|user|>\n<|image_1|>\n{question}<|end|>\n<|assistant|>\n",
"multi_modal_data": {
"image": ImageAsset("cherry_blossom").pil_image.convert("RGB")
},
}
# 生成響應
print("========== SAMPLE GENERATION ==============")
outputs = llm.generate(inputs, SamplingParams(temperature=0.2, max_tokens=64))
print(f"PROMPT : {outputs[0].prompt}")
print(f"RESPONSE: {outputs[0].outputs[0].text}")
print("==========================================")
高級用法
文檔未提及高級用法代碼示例,暫不提供。
📚 詳細文檔
模型創建
本模型使用 llm-compressor 創建,代碼如下:
模型創建代碼
import base64
from io import BytesIO
import torch
from datasets import load_dataset
from qwen_vl_utils import process_vision_info
from transformers import AutoProcessor
from llmcompressor.modifiers.quantization import GPTQModifier
from llmcompressor.transformers import oneshot
from llmcompressor.transformers.tracing import (
TraceableQwen2_5_VLForConditionalGeneration,
)
# 加載模型
model_id = "Qwen/Qwen2.5-VL-7B-Instruct"
model = TraceableQwen2_5_VLForConditionalGeneration.from_pretrained(
model_id,
device_map="auto",
torch_dtype="auto",
)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
# 一次性參數
DATASET_ID = "lmms-lab/flickr30k"
DATASET_SPLIT = {"calibration": "test[:512]"}
NUM_CALIBRATION_SAMPLES = 512
MAX_SEQUENCE_LENGTH = 2048
# 加載數據集並預處理
ds = load_dataset(DATASET_ID, split=DATASET_SPLIT)
ds = ds.shuffle(seed=42)
dampening_frac=0.01
# 應用聊天模板並對輸入進行分詞
def preprocess_and_tokenize(example):
# 預處理
buffered = BytesIO()
example["image"].save(buffered, format="PNG")
encoded_image = base64.b64encode(buffered.getvalue())
encoded_image_text = encoded_image.decode("utf-8")
base64_qwen = f"data:image;base64,{encoded_image_text}"
messages = [
{
"role": "user",
"content": [
{"type": "image", "image": base64_qwen},
{"type": "text", "text": "What does the image show?"},
],
}
]
text = processor.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
# 分詞
return processor(
text=[text],
images=image_inputs,
videos=video_inputs,
padding=False,
max_length=MAX_SEQUENCE_LENGTH,
truncation=True,
)
ds = ds.map(preprocess_and_tokenize, remove_columns=ds["calibration"].column_names)
# 定義用於多模態輸入的一次性數據收集器
def data_collator(batch):
assert len(batch) == 1
return {key: torch.tensor(value) for key, value in batch[0].items()}
# 配方
recipe = [
GPTQModifier(
targets="Linear",
scheme="W8A8",
sequential_targets=["Qwen2_5_VLDecoderLayer"],
ignore=["lm_head", "re:visual.*"],
),
]
SAVE_DIR==f"{model_id.split('/')[1]}-quantized.w8a8"
# 執行一次性操作
oneshot(
model=model,
tokenizer=model_id,
dataset=ds,
recipe=recipe,
max_seq_length=MAX_SEQUENCE_LENGTH,
num_calibration_samples=NUM_CALIBRATION_SAMPLES,
trust_remote_code_model=True,
data_collator=data_collator,
output_dir=SAVE_DIR
)
模型評估
模型使用 mistral-evals 進行視覺相關任務評估,使用 lm_evaluation_harness 進行部分基於文本的基準測試。評估命令如下:
評估命令
視覺任務
- vqav2
- docvqa
- mathvista
- mmmu
- chartqa
vllm serve neuralmagic/pixtral-12b-quantized.w8a8 --tensor_parallel_size 1 --max_model_len 25000 --trust_remote_code --max_num_seqs 8 --gpu_memory_utilization 0.9 --dtype float16 --limit_mm_per_prompt image=7
python -m eval.run eval_vllm \
--model_name neuralmagic/pixtral-12b-quantized.w8a8 \
--url http://0.0.0.0:8000 \
--output_dir ~/tmp \
--eval_name <vision_task_name>
基於文本的任務
MMLU
lm_eval \
--model vllm \
--model_args pretrained="<model_name>",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=<n>,gpu_memory_utilization=0.8,enable_chunked_prefill=True,trust_remote_code=True \
--tasks mmlu \
--num_fewshot 5 \
--batch_size auto \
--output_path output_dir
MGSM
lm_eval \
--model vllm \
--model_args pretrained="<model_name>",dtype=auto,max_model_len=4096,max_gen_toks=2048,max_num_seqs=128,tensor_parallel_size=<n>,gpu_memory_utilization=0.9 \
--tasks mgsm_cot_native \
--apply_chat_template \
--num_fewshot 0 \
--batch_size auto \
--output_path output_dir
評估準確率
類別 | 指標 | Qwen/Qwen2.5-VL-7B-Instruct | Qwen2.5-VL-7B-Instruct-quantized.w8a8 | 恢復率 (%) |
---|---|---|---|---|
視覺 | MMMU (驗證集, CoT) 顯式提示寬鬆正確性 |
52.00 | 52.33 | 100.63% |
視覺 | VQAv2 (驗證集) vqa匹配度 |
75.59 | 75.46 | 99.83% |
視覺 | DocVQA (驗證集) anls |
94.27 | 94.09 | 99.81% |
視覺 | ChartQA (測試集, CoT) 答案中任意位置寬鬆正確性 |
86.44 | 86.16 | 99.68% |
視覺 | Mathvista (測試迷你集, CoT) 顯式提示寬鬆正確性 |
69.47 | 70.47 | 101.44% |
視覺 | 平均得分 | 75.95 | 75.90 | 99.93% |
文本 | MGSM (CoT) | 56.38 | 55.13 | 97.78% |
文本 | MMLU (5 - 樣本) | 71.09 | 70.57 | 99.27% |
推理性能
本模型在單流部署中最高可實現 1.56 倍的加速,在多流部署中最高可實現 1.5 倍的加速,具體性能取決於硬件和使用場景。以下性能基準測試使用 vLLM 版本 0.7.2 和 GuideLLM 進行。
基準測試命令
``` guidellm --model neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w8a8 --target "http://localhost:8000/v1" --data-type emulated --data prompt_tokens=單流性能(使用 vLLM 版本 0.7.2 測量)
硬件 | 模型 | 平均成本降低 | 文檔視覺問答 1680W x 2240H 64/128 延遲 (s) |
文檔視覺問答 1680W x 2240H 64/128 每美元查詢次數 |
視覺推理 640W x 480H 128/128 延遲 (s) |
視覺推理 640W x 480H 128/128 每美元查詢次數 |
圖像描述 480W x 360H 0/128 延遲 (s) |
圖像描述 480W x 360H 0/128 每美元查詢次數 |
---|---|---|---|---|---|---|---|---|
A6000x1 | Qwen/Qwen2.5-VL-7B-Instruct | 4.9 | 912 | 3.2 | 1386 | 3.1 | 1431 | |
A6000x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w8a8 | 1.50 | 3.6 | 1248 | 2.1 | 2163 | 2.0 | 2237 |
A6000x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w4a16 | 2.05 | 3.3 | 1351 | 1.4 | 3252 | 1.4 | 3321 |
A100x1 | Qwen/Qwen2.5-VL-7B-Instruct | 2.8 | 707 | 1.7 | 1162 | 1.7 | 1198 | |
A100x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w8a8 | 1.24 | 2.4 | 851 | 1.4 | 1454 | 1.3 | 1512 |
A100x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w4a16 | 1.49 | 2.2 | 912 | 1.1 | 1791 | 1.0 | 1950 |
H100x1 | Qwen/Qwen2.5-VL-7B-Instruct | 2.0 | 557 | 1.2 | 919 | 1.2 | 941 | |
H100x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-FP8-Dynamic | 1.28 | 1.6 | 698 | 0.9 | 1181 | 0.9 | 1219 |
H100x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w4a16 | 1.28 | 1.6 | 686 | 0.9 | 1191 | 0.9 | 1228 |
**用例配置文件:圖像大小 (寬x高) / 提示詞令牌 / 生成令牌
**QPD:每美元查詢次數,基於 Lambda Labs 的按需成本(2025 年 2 月 18 日觀測)。
多流異步性能(使用 vLLM 版本 0.7.2 測量)
硬件 | 模型 | 平均成本降低 | 文檔視覺問答 1680W x 2240H 64/128 最大吞吐量 (QPS) |
文檔視覺問答 1680W x 2240H 64/128 每美元查詢次數 |
視覺推理 640W x 480H 128/128 最大吞吐量 (QPS) |
視覺推理 640W x 480H 128/128 每美元查詢次數 |
圖像描述 480W x 360H 0/128 最大吞吐量 (QPS) |
圖像描述 480W x 360H 0/128 每美元查詢次數 |
---|---|---|---|---|---|---|---|---|
A6000x1 | Qwen/Qwen2.5-VL-7B-Instruct | 0.4 | 1837 | 1.5 | 6846 | 1.7 | 7638 | |
A6000x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w8a8 | 1.41 | 0.5 | 2297 | 2.3 | 10137 | 2.5 | 11472 |
A6000x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w4a16 | 1.60 | 0.4 | 1828 | 2.7 | 12254 | 3.4 | 15477 |
A100x1 | Qwen/Qwen2.5-VL-7B-Instruct | 0.7 | 1347 | 2.6 | 5221 | 3.0 | 6122 | |
A100x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w8a8 | 1.27 | 0.8 | 1639 | 3.4 | 6851 | 3.9 | 7918 |
A100x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w4a16 | 1.21 | 0.7 | 1314 | 3.0 | 5983 | 4.6 | 9206 |
H100x1 | Qwen/Qwen2.5-VL-7B-Instruct | 0.9 | 969 | 3.1 | 3358 | 3.3 | 3615 | |
H100x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-FP8-Dynamic | 1.29 | 1.2 | 1331 | 3.8 | 4109 | 4.2 | 4598 |
H100x1 | neuralmagic/Qwen2.5-VL-7B-Instruct-quantized.w4a16 | 1.28 | 1.2 | 1298 | 3.8 | 4190 | 4.2 | 4573 |
**用例配置文件:圖像大小 (寬x高) / 提示詞令牌 / 生成令牌
**QPS:每秒查詢次數。
**QPD:每美元查詢次數,基於 Lambda Labs 的按需成本(2025 年 2 月 18 日觀測)。
🔧 技術細節
本模型通過將 Qwen/Qwen2.5-VL-7B-Instruct 的權重量化為 INT8 數據類型獲得,可使用 vLLM >= 0.5.2 進行推理。
📄 許可證
本項目採用 Apache 2.0 許可證。
Clip Vit Large Patch14
CLIP是由OpenAI開發的視覺-語言模型,通過對比學習將圖像和文本映射到共享的嵌入空間,支持零樣本圖像分類
圖像生成文本
C
openai
44.7M
1,710
Clip Vit Base Patch32
CLIP是由OpenAI開發的多模態模型,能夠理解圖像和文本之間的關係,支持零樣本圖像分類任務。
圖像生成文本
C
openai
14.0M
666
Siglip So400m Patch14 384
Apache-2.0
SigLIP是基於WebLi數據集預訓練的視覺語言模型,採用改進的sigmoid損失函數,優化了圖像-文本匹配任務。
圖像生成文本
Transformers

S
google
6.1M
526
Clip Vit Base Patch16
CLIP是由OpenAI開發的多模態模型,通過對比學習將圖像和文本映射到共享的嵌入空間,實現零樣本圖像分類能力。
圖像生成文本
C
openai
4.6M
119
Blip Image Captioning Base
Bsd-3-clause
BLIP是一個先進的視覺-語言預訓練模型,擅長圖像描述生成任務,支持條件式和非條件式文本生成。
圖像生成文本
Transformers

B
Salesforce
2.8M
688
Blip Image Captioning Large
Bsd-3-clause
BLIP是一個統一的視覺-語言預訓練框架,擅長圖像描述生成任務,支持條件式和無條件式圖像描述生成。
圖像生成文本
Transformers

B
Salesforce
2.5M
1,312
Openvla 7b
MIT
OpenVLA 7B是一個基於Open X-Embodiment數據集訓練的開源視覺-語言-動作模型,能夠根據語言指令和攝像頭圖像生成機器人動作。
圖像生成文本
Transformers 英語

O
openvla
1.7M
108
Llava V1.5 7b
LLaVA 是一款開源多模態聊天機器人,基於 LLaMA/Vicuna 微調,支持圖文交互。
圖像生成文本
Transformers

L
liuhaotian
1.4M
448
Vit Gpt2 Image Captioning
Apache-2.0
這是一個基於ViT和GPT2架構的圖像描述生成模型,能夠為輸入圖像生成自然語言描述。
圖像生成文本
Transformers

V
nlpconnect
939.88k
887
Blip2 Opt 2.7b
MIT
BLIP-2是一個視覺語言模型,結合了圖像編碼器和大型語言模型,用於圖像到文本的生成任務。
圖像生成文本
Transformers 英語

B
Salesforce
867.78k
359
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98