Qwen2 VL 2B Instruct GGUF

🚀 Qwen2-VL-2B-Instruct-GGUF

本項目提供了Qwen2-VL-2B-Instruct模型的量化GGUF版本，可結合LlamaEdge服務運行，支持圖像文本到文本的多模態處理。

🚀 快速開始

原始模型

原始模型為 Qwen/Qwen2-VL-2B-Instruct。

使用LlamaEdge運行

• LlamaEdge版本：v0.16.0

• 提示模板

  • 提示類型：qwen2-vision
  • 提示字符串

    <|im_start|>system
    {system_prompt}<|im_end|>
    <|im_start|>user
    <|vision_start|>{image_placeholder}<|vision_end|>{user_prompt}<|im_end|>
    <|im_start|>assistant
    

• 上下文大小：32000

• 作為LlamaEdge服務運行

  wasmedge --dir .:. \
    --nn-preload default:GGML:AUTO:Qwen2-VL-2B-Instruct-Q5_K_M.gguf \
    llama-api-server.wasm \
    --model-name Qwen2-VL-2B-Instruct \
    --prompt-template qwen2-vision \
    --llava-mmproj Qwen2-VL-2B-Instruct-vision-encoder.gguf \
    --ctx-size 32000
  

📦 量化的GGUF模型

使用llama.cpp b4329進行量化

📄 許可證

本項目使用 apache-2.0 許可證。