Qwen2.5 VL 32B Instruct FP8 Dynamic

🚀 Qwen2.5-VL-32B-Instruct-FP8-Dynamic

Qwen2.5-VL-32B-Instructの量子化バージョンで、vLLMを用いた効率的な推論が可能です。

🚀 クイックスタート

このモデルは、Qwen/Qwen2.5-VL-32B-Instruct の重みをFP8データ型に量子化したもので、vLLM >= 0.5.2 での推論に対応しています。

✨ 主な機能

• モデルアーキテクチャ：Qwen2.5-VL-72B-Instruct
  • 入力：Vision-Text
  • 出力：Text
• モデル最適化：
  • 重み量子化：FP8
  • 活性化量子化：FP8
• リリース日：2025年2月24日
• バージョン：1.0
• モデル開発者：Neural Magic

📦 インストール

このモデルは、vLLM バックエンドを使用して効率的にデプロイできます。

💻 使用例

基本的な使用法

from vllm.assets.image import ImageAsset
from vllm import LLM, SamplingParams

# prepare model
llm = LLM(
    model="neuralmagic/Qwen2.5-VL-72B-Instruct-FP8-Dynamic",
    trust_remote_code=True,
    max_model_len=4096,
    max_num_seqs=2,
)

# prepare inputs
question = "What is the content of this image?"
inputs = {
    "prompt": f"<|user|>\n<|image_1|>\n{question}<|end|>\n<|assistant|>\n",
    "multi_modal_data": {
        "image": ImageAsset("cherry_blossom").pil_image.convert("RGB")
    },
}

# generate response
print("========== SAMPLE GENERATION ==============")
outputs = llm.generate(inputs, SamplingParams(temperature=0.2, max_tokens=64))
print(f"PROMPT  : {outputs[0].prompt}")
print(f"RESPONSE: {outputs[0].outputs[0].text}")
print("==========================================")

vLLMはOpenAI互換のサービングもサポートしています。詳細はドキュメントを参照してください。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。詳細はこちらを参照してください。