Qwen2.5 VL 32B Instruct FP8 Dynamic

🚀 Qwen2.5-VL-32B-Instruct-FP8-Dynamic

本项目是基于Qwen2.5-VL-32B-Instruct模型的量化版本，通过将权重量化为FP8数据类型，可使用vLLM进行高效推理，适用于视觉-文本输入、文本输出的场景。

🚀 快速开始

本模型可以使用 vLLM 后端进行高效部署，示例代码如下：

from vllm.assets.image import ImageAsset
from vllm import LLM, SamplingParams

# prepare model
llm = LLM(
    model="neuralmagic/Qwen2.5-VL-72B-Instruct-FP8-Dynamic",
    trust_remote_code=True,
    max_model_len=4096,
    max_num_seqs=2,
)

# prepare inputs
question = "What is the content of this image?"
inputs = {
    "prompt": f"<|user|>\n<|image_1|>\n{question}<|end|>\n<|assistant|>\n",
    "multi_modal_data": {
        "image": ImageAsset("cherry_blossom").pil_image.convert("RGB")
    },
}

# generate response
print("========== SAMPLE GENERATION ==============")
outputs = llm.generate(inputs, SamplingParams(temperature=0.2, max_tokens=64))
print(f"PROMPT  : {outputs[0].prompt}")
print(f"RESPONSE: {outputs[0].outputs[0].text}")
print("==========================================")

vLLM 还支持兼容 OpenAI 的服务。更多详细信息请参阅 文档。

✨ 主要特性

• 模型架构：基于 Qwen2.5-VL-72B-Instruct，支持视觉 - 文本输入，输出文本内容。
• 模型优化：
  • 权重量化：采用 FP8 数据类型进行权重量化。
  • 激活量化：激活量化同样使用 FP8 数据类型。
• 发布日期：2025 年 2 月 24 日
• 版本：1.0
• 模型开发者：Neural Magic

本模型是 Qwen/Qwen2.5-VL-32B-Instruct 的量化版本，通过将该模型的权重量化为 FP8 数据类型得到，可用于 vLLM >= 0.5.2 版本的推理。

📄 许可证

本项目采用 Apache-2.0 许可证。