Qwen2 VL 72B Instruct GGUF

🚀 Qwen2-VL-72B-Instruct-GGUF

本項目提供了Qwen2-VL-72B-Instruct模型的GGUF量化版本，可藉助LlamaEdge運行，支持多模態的圖像文本到文本轉換。

🚀 快速開始

使用LlamaEdge運行模型

• LlamaEdge版本：v0.16.0
• 提示模板
  • 提示類型：qwen2-vision
  • 提示字符串

    <|im_start|>system
    {system_prompt}<|im_end|>
    <|im_start|>user
    <|vision_start|>{image_placeholder}<|vision_end|>{user_prompt}<|im_end|>
    <|im_start|>assistant
    

• 上下文大小：128000
• 以LlamaEdge服務形式運行

  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Qwen2-VL-72B-Instruct-Q5_K_M.gguf \
    llama-api-server.wasm \
    --model-name Qwen2-VL-72B-Instruct \
    --prompt-template qwen2-vision \
    --llava-mmproj Qwen2-VL-72B-Instruct-vision-encoder.gguf \
    --ctx-size 128000
  

✨ 主要特性

• 多模態支持：該模型屬於多模態模型，能夠處理圖像和文本輸入，並輸出文本結果。
• 多種量化選項：提供了多種不同比特的量化版本，可根據需求在模型大小和質量之間進行權衡。

📚 詳細文檔

原始模型

原始模型為Qwen/Qwen2-VL-72B-Instruct 。

量化的GGUF模型

使用llama.cpp b4329進行量化

📄 許可證

本項目使用的許可證為其他 ，許可證名稱為tongyi-qianwen。