Qwen2.5 VL 7B Instruct GGUF

🚀 Qwen2.5-VL-7B-Instruct

Qwen2.5-VL-7B-Instruct是一個多模態模型，可實現圖像文本到文本的轉換。本項目對其進行了轉換和量化處理，為相關應用提供了便利。

🚀 快速開始

本模型使用 HimariO的分支 並按照 此流程 進行轉換和量化，不使用IMatrix。

目前需要使用該分支來運行推理，並且不能保證這些檢查點在未來的版本中仍然可用。臨時版本可在 此處 獲取。截至編寫本文時，最新測試版本為 qwen25-vl-b4899-bc4163b。

更新：截至2025年4月1日，koboldcpp 已添加推理支持。

原始模型

💻 使用示例

基礎用法

./llama-qwen2vl-cli -m Qwen2.5-VL-7B-Instruct-Q4_K_M.gguf --mmproj qwen2.5-vl-7b-instruct-vision-f16.gguf -p "Please describe this image." --image ./image.jpg

📄 許可證

本項目採用Apache-2.0許可證。