Qwen2 VL 72B Instruct GGUF

🚀 Qwen2-VL-72B-Instruct-GGUF

本项目提供了Qwen2-VL-72B-Instruct模型的GGUF量化版本，可借助LlamaEdge运行，支持多模态的图像文本到文本转换。

🚀 快速开始

使用LlamaEdge运行模型

• LlamaEdge版本：v0.16.0
• 提示模板
  • 提示类型：qwen2-vision
  • 提示字符串

    <|im_start|>system
    {system_prompt}<|im_end|>
    <|im_start|>user
    <|vision_start|>{image_placeholder}<|vision_end|>{user_prompt}<|im_end|>
    <|im_start|>assistant
    

• 上下文大小：128000
• 以LlamaEdge服务形式运行

  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Qwen2-VL-72B-Instruct-Q5_K_M.gguf \
    llama-api-server.wasm \
    --model-name Qwen2-VL-72B-Instruct \
    --prompt-template qwen2-vision \
    --llava-mmproj Qwen2-VL-72B-Instruct-vision-encoder.gguf \
    --ctx-size 128000
  

✨ 主要特性

• 多模态支持：该模型属于多模态模型，能够处理图像和文本输入，并输出文本结果。
• 多种量化选项：提供了多种不同比特的量化版本，可根据需求在模型大小和质量之间进行权衡。

📚 详细文档

原始模型

原始模型为Qwen/Qwen2-VL-72B-Instruct 。

量化的GGUF模型

使用llama.cpp b4329进行量化

📄 许可证

本项目使用的许可证为其他 ，许可证名称为tongyi-qianwen。