Qwen2.5 VL 32B Instruct GGUF

🚀 Qwen2.5-VL-32B-Instruct

Qwen2.5-VL-32B-Instruct 是一個多模態模型，可實現圖像文本到文本的轉換。本項目對其進行了轉換和量化處理，為用戶提供了更便捷的使用方式。

🚀 快速開始

本模型使用 HimariO 的分支 並按照 此流程 進行轉換和量化，不使用 IMatrix。

目前運行推理需要使用該分支，並且不能保證這些檢查點在未來版本中仍能正常工作。臨時版本可在 此處 獲取。截至編寫本文時，最新測試版本為 qwen25-vl-b4899-bc4163b。

更新：自 2025 年 4 月 1 日起，koboldcpp 已添加推理支持。

原始模型

未量化的 GGUF 文件

💻 使用示例

基礎用法

./llama-qwen2vl-cli -m Qwen2.5-VL-32B-Instruct-Q4_K_M.gguf --mmproj qwen2.5-vl-32b-instruct-vision-f16.gguf -p "Please describe this image." --image ./image.jpg

📄 許可證

本項目採用 Apache-2.0 許可證。