Qwen_Qwen2.5-VL-7B-Instruct-GGUF開源模型 - 免費支持圖文轉文本等多模態應用

首頁

Qwen Qwen2.5 VL 7B Instruct GGUF

由bartowski開發

Qwen2.5-VL-7B-Instruct的量化版本，使用llama.cpp進行量化，支持多模態任務，適用於圖文轉文本等應用場景。

文本生成圖像英語開源協議:Apache-2.0 #多模態理解 #圖文轉文本 #低資源部署

下載量 2,056

發布時間 : 5/8/2025

模型概述

這是一個基於Qwen2.5-VL-7B-Instruct模型的量化版本，支持多模態任務，能夠處理圖文轉文本等任務。量化版本提供了多種量化選項，適合不同硬件環境和需求。

模型特點

多模態支持

支持圖文轉文本任務，能夠處理多模態輸入。

多種量化選項

提供從BF16到Q2_K的多種量化選項，適合不同硬件環境和需求。

高性能推理

使用llama.cpp進行量化，優化了推理性能，適合在本地設備上運行。

模型能力

圖文轉文本

多模態處理

文本生成

使用案例

內容生成

圖像描述生成

根據輸入的圖像生成詳細的文本描述。

生成準確且詳細的圖像描述。

自動化文檔處理

圖文轉文本

將包含圖像和文本的文檔轉換為純文本格式。

高效提取和轉換文檔內容。

🚀 Qwen2.5-VL-7B-Instruct的Llamacpp imatrix量化版本

本項目是對Qwen2.5-VL-7B-Instruct模型進行量化處理後的成果。通過特定的量化方式，生成了不同類型的量化文件，以滿足不同硬件和性能需求。用戶可以根據自身的硬件條件和使用場景，選擇合適的量化文件進行下載和使用。

🚀 快速開始

本項目使用 llama.cpp 發佈版本 b5317 進行量化。原始模型可訪問：https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct 。

所有量化文件均使用 imatrix 選項，並採用來自此處的數據集生成。你可以在 LM Studio 中運行這些量化文件，也可以直接使用 llama.cpp 或任何基於 llama.cpp 的項目來運行。

✨ 主要特性

多種量化類型：提供了豐富的量化類型，如 bf16、Q8_0、Q6_K_L 等，滿足不同的性能和質量需求。
在線重打包：部分量化文件支持在線重打包，可根據硬件自動優化性能。
不同硬件適配：針對 ARM 和 AVX 等不同硬件架構進行了優化。

📦 安裝指南

使用 huggingface-cli 下載

首先，確保你已經安裝了 hugginface-cli：

pip install -U "huggingface_hub[cli]"

然後，你可以指定要下載的特定文件：

huggingface-cli download bartowski/Qwen_Qwen2.5-VL-7B-Instruct-GGUF --include "Qwen_Qwen2.5-VL-7B-Instruct-Q4_K_M.gguf" --local-dir ./

如果模型大小超過 50GB，它會被分割成多個文件。若要將它們全部下載到本地文件夾，請運行：

huggingface-cli download bartowski/Qwen_Qwen2.5-VL-7B-Instruct-GGUF --include "Qwen_Qwen2.5-VL-7B-Instruct-Q8_0/*" --local-dir ./

你可以指定一個新的本地目錄（如 Qwen_Qwen2.5-VL-7B-Instruct-Q8_0），也可以將它們全部下載到當前目錄（./）。

💻 使用示例

提示格式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 詳細文檔

下載文件選擇

文件名	量化類型	文件大小	分割情況	描述
Qwen2.5-VL-7B-Instruct-bf16.gguf	bf16	15.24GB	false	完整的 BF16 權重。
Qwen2.5-VL-7B-Instruct-Q8_0.gguf	Q8_0	8.10GB	false	極高質量，通常不需要，但為可用的最大量化。
Qwen2.5-VL-7B-Instruct-Q6_K_L.gguf	Q6_K_L	6.52GB	false	嵌入和輸出權重使用 Q8_0。非常高質量，接近完美，推薦。
Qwen2.5-VL-7B-Instruct-Q6_K.gguf	Q6_K	6.25GB	false	非常高質量，接近完美，推薦。
Qwen2.5-VL-7B-Instruct-Q5_K_L.gguf	Q5_K_L	5.78GB	false	嵌入和輸出權重使用 Q8_0。高質量，推薦。
Qwen2.5-VL-7B-Instruct-Q5_K_M.gguf	Q5_K_M	5.44GB	false	高質量，推薦。
Qwen2.5-VL-7B-Instruct-Q5_K_S.gguf	Q5_K_S	5.32GB	false	高質量，推薦。
Qwen2.5-VL-7B-Instruct-Q4_K_L.gguf	Q4_K_L	5.09GB	false	嵌入和輸出權重使用 Q8_0。質量良好，推薦。
Qwen2.5-VL-7B-Instruct-Q4_1.gguf	Q4_1	4.87GB	false	舊格式，性能與 Q4_K_S 相似，但在 Apple silicon 上每瓦令牌數有所提高。
Qwen2.5-VL-7B-Instruct-Q4_K_M.gguf	Q4_K_M	4.68GB	false	質量良好，是大多數用例的默認大小，推薦。
Qwen2.5-VL-7B-Instruct-Q3_K_XL.gguf	Q3_K_XL	4.57GB	false	嵌入和輸出權重使用 Q8_0。質量較低但可用，適合低內存情況。
Qwen2.5-VL-7B-Instruct-Q4_K_S.gguf	Q4_K_S	4.46GB	false	質量略低，但節省空間，推薦。
Qwen2.5-VL-7B-Instruct-Q4_0.gguf	Q4_0	4.44GB	false	舊格式，支持為 ARM 和 AVX CPU 推理進行在線重打包。
Qwen2.5-VL-7B-Instruct-IQ4_NL.gguf	IQ4_NL	4.44GB	false	與 IQ4_XS 相似，但略大。支持為 ARM CPU 推理進行在線重打包。
Qwen2.5-VL-7B-Instruct-IQ4_XS.gguf	IQ4_XS	4.22GB	false	質量尚可，比 Q4_K_S 小，性能相似，推薦。
Qwen2.5-VL-7B-Instruct-Q3_K_L.gguf	Q3_K_L	4.09GB	false	質量較低但可用，適合低內存情況。
Qwen2.5-VL-7B-Instruct-Q3_K_M.gguf	Q3_K_M	3.81GB	false	低質量。
Qwen2.5-VL-7B-Instruct-IQ3_M.gguf	IQ3_M	3.57GB	false	中低質量，新方法，性能與 Q3_K_M 相當。
Qwen2.5-VL-7B-Instruct-Q2_K_L.gguf	Q2_K_L	3.55GB	false	嵌入和輸出權重使用 Q8_0。質量非常低，但出人意料地可用。
Qwen2.5-VL-7B-Instruct-Q3_K_S.gguf	Q3_K_S	3.49GB	false	低質量，不推薦。
Qwen2.5-VL-7B-Instruct-IQ3_XS.gguf	IQ3_XS	3.35GB	false	質量較低，新方法，性能尚可，略優於 Q3_K_S。
Qwen2.5-VL-7B-Instruct-IQ3_XXS.gguf	IQ3_XXS	3.11GB	false	質量較低，新方法，性能尚可，與 Q3 量化相當。
Qwen2.5-VL-7B-Instruct-Q2_K.gguf	Q2_K	3.02GB	false	質量非常低，但出人意料地可用。
Qwen2.5-VL-7B-Instruct-IQ2_M.gguf	IQ2_M	2.78GB	false	質量相對較低，採用了最先進的技術，出人意料地可用。