Q

Qwen2.5 VL 7B Instruct Quantized.w8a8

由RedHatAI開發
Qwen2.5-VL-7B-Instruct的量化版本,支持視覺-文本輸入和文本輸出,通過INT8權重量化優化推理效率
下載量 1,992
發布時間 : 2/7/2025

模型概述

基於Qwen2.5-VL-7B-Instruct的量化模型,專為高效視覺-語言任務設計,適用於需要結合圖像理解和文本生成的應用場景

模型特點

高效INT8量化
採用W8A8量化方案,在保持模型性能的同時顯著提升推理效率
多模態支持
能夠同時處理視覺和文本輸入,實現圖像理解和文本生成的聯合任務
vLLM優化
專為vLLM推理引擎優化,支持高效部署和大規模服務

模型能力

視覺問答
圖像描述生成
多模態推理
文檔理解
圖表分析

使用案例

教育
教材內容理解
幫助學生理解教材中的圖表和插圖內容
在MMMU基準測試上達到52.33%準確率
商業
文檔分析
自動解析商業文檔中的表格和圖表信息
在DocVQA基準測試上達到94.09 ANLS分數
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase