Qwen2 VL 7B Instruct GGUF

🚀 Qwen2-VL-7B-Instruct-GGUF

本項目提供了Qwen2-VL-7B-Instruct模型的量化版本，可通過LlamaEdge運行，支持多模態的圖像文本轉換任務。

🚀 快速開始

原始模型

Qwen/Qwen2-VL-7B-Instruct

使用LlamaEdge運行

• LlamaEdge版本：v0.16.0

• 提示模板

  • 提示類型：qwen2-vision
  • 提示字符串

    <|im_start|>system
    {system_prompt}<|im_end|>
    <|im_start|>user
    <|vision_start|>{image_placeholder}<|vision_end|>{user_prompt}<|im_end|>
    <|im_start|>assistant
    

• 上下文大小：128000

• 作為LlamaEdge服務運行

  wasmedge --dir .:. \
    --nn-preload default:GGML:AUTO:Qwen2-VL-7B-Instruct-Q5_K_M.gguf \
    llama-api-server.wasm \
    --model-name Qwen2-VL-7B-Instruct \
    --prompt-template qwen2-vision \
    --llava-mmproj Qwen2-VL-7B-Instruct-vision-encoder.gguf \
    --ctx-size 128000
  

📦 量化的GGUF模型

使用llama.cpp b4329進行量化

📄 許可證

本項目使用apache-2.0許可證。