Qwen2-VL-7B-GGUF開源視覺語言模型 - 多種量化版本適用於實用場景

Qwen2 VL 7B GGUF

由tensorblock開發

Qwen2-VL-7B 是一個視覺語言模型，提供多種量化版本的 GGUF 格式模型文件，適用於 llama.cpp 使用。

下載量 108

發布時間 : 12/15/2024

模型概述

Qwen2-VL-7B 是一個基於視覺語言的多模態模型，支持文本和圖像輸入，適用於多種視覺語言任務。

多種量化類型

提供從 Q2_K 到 Q8_0 的多種量化類型，用戶可根據需求選擇不同的質量和大小。

兼容性

與 llama.cpp 兼容，確保模型的兼容性和性能。

高效量化

由 TensorBlock 提供量化服務，確保模型的性能和質量。

文本生成

圖像分析

多模態任務處理

視覺語言任務

圖像描述生成

根據輸入的圖像生成詳細的描述文本。

視覺問答

回答與輸入圖像相關的問題。

本倉庫包含 Qwen/Qwen2-VL-7B 的 GGUF 格式模型文件。這些文件由 TensorBlock 提供的機器進行量化，並且與提交 b4329 之後的 llama.cpp 兼容。

本項目提供了 Qwen2-VL-7B 模型的 GGUF 量化版本，方便在 llama.cpp 中使用。

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/Qwen2-VL-7B-GGUF --include "Qwen2-VL-7B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式下載多個模型文件（例如，*Q4_K*gguf），可以嘗試以下命令：

huggingface-cli download tensorblock/Qwen2-VL-7B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

本項目採用 Apache-2.0 許可證。

項目名稱	項目介紹	項目圖片	項目鏈接
Awesome MCP Servers	一個全面的模型上下文協議（MCP）服務器集合。		查看項目
TensorBlock Studio	一個輕量級、開放且可擴展的多大語言模型交互工作室。		查看項目