Qwen2.5 VL 7B Captioner Relaxed GGUF

🚀 Qwen2.5-VL-7B-Captioner-Relaxed

Qwen2.5-VL-7B-Captioner-Relaxed 是一個多模態模型，可實現圖像文本到文本的轉換。該模型基於 Ertugrul/Qwen2.5-VL-7B-Captioner-Relaxed 基礎模型轉換和量化而來。

🚀 快速開始

本模型使用 HimariO 的分支 並按照 此流程 進行轉換和量化，不使用 IMatrix。

目前運行推理需要使用該分支，並且不能保證這些檢查點在未來版本中仍能正常工作。臨時版本可在 此處 獲取。截至編寫本文時，最新測試版本為 qwen25-vl-b4899-bc4163b。

更新說明： 截至 2025 年 4 月 1 日，koboldcpp 已添加推理支持。

原始模型

💻 使用示例

基礎用法

./llama-qwen2vl-cli -m Qwen2.5-VL-7B-Captioner-Relaxed-Q4_K_M.gguf --mmproj qwen2.5-vl-7b-captioner-relaxed-vision-f16.gguf -p "Please describe this image." --image ./image.jpg

📄 許可證

本項目採用 Apache-2.0 許可證。