Qwen2.5 VL 32B Instruct FP8 Dynamic

🚀 Qwen2.5-VL-32B-Instruct-FP8-Dynamic

本項目是基於Qwen2.5-VL-32B-Instruct模型的量化版本，通過將權重量化為FP8數據類型，可使用vLLM進行高效推理，適用於視覺-文本輸入、文本輸出的場景。

🚀 快速開始

本模型可以使用 vLLM 後端進行高效部署，示例代碼如下：

from vllm.assets.image import ImageAsset
from vllm import LLM, SamplingParams

# prepare model
llm = LLM(
    model="neuralmagic/Qwen2.5-VL-72B-Instruct-FP8-Dynamic",
    trust_remote_code=True,
    max_model_len=4096,
    max_num_seqs=2,
)

# prepare inputs
question = "What is the content of this image?"
inputs = {
    "prompt": f"<|user|>\n<|image_1|>\n{question}<|end|>\n<|assistant|>\n",
    "multi_modal_data": {
        "image": ImageAsset("cherry_blossom").pil_image.convert("RGB")
    },
}

# generate response
print("========== SAMPLE GENERATION ==============")
outputs = llm.generate(inputs, SamplingParams(temperature=0.2, max_tokens=64))
print(f"PROMPT  : {outputs[0].prompt}")
print(f"RESPONSE: {outputs[0].outputs[0].text}")
print("==========================================")

vLLM 還支持兼容 OpenAI 的服務。更多詳細信息請參閱 文檔。

✨ 主要特性

• 模型架構：基於 Qwen2.5-VL-72B-Instruct，支持視覺 - 文本輸入，輸出文本內容。
• 模型優化：
  • 權重量化：採用 FP8 數據類型進行權重量化。
  • 激活量化：激活量化同樣使用 FP8 數據類型。
• 發佈日期：2025 年 2 月 24 日
• 版本：1.0
• 模型開發者：Neural Magic

本模型是 Qwen/Qwen2.5-VL-32B-Instruct 的量化版本，通過將該模型的權重量化為 FP8 數據類型得到，可用於 vLLM >= 0.5.2 版本的推理。

📄 許可證

本項目採用 Apache-2.0 許可證。