Gte Qwen2 7B Instruct GGUF

🚀 Alibaba-NLP/gte-Qwen2-7B-instruct - GGUF

本仓库包含 Alibaba-NLP/gte-Qwen2-7B-instruct 模型的 GGUF 格式文件。

这些文件由 TensorBlock 提供的机器进行量化，并且与截至 提交 b4011 的 llama.cpp 兼容。

✨ 主要特性

• 提供多种量化类型的模型文件，可根据不同需求选择。
• 与 llama.cpp 兼容，方便在相关环境中使用。

📦 安装指南

命令行方式

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/gte-Qwen2-7B-instruct-GGUF --include "gte-Qwen2-7B-instruct-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下载多个模型文件，可以尝试以下命令：

huggingface-cli download tensorblock/gte-Qwen2-7B-instruct-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

💻 使用示例

提示模板

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 详细文档

模型文件规格

🔧 技术细节

该模型在多个数据集上进行了评估，涵盖了分类、检索、聚类、重排序、句子相似度等多种任务，以下是部分数据集的评估结果：

分类任务

检索任务

以 MTEB ArguAna 数据集为例：

聚类任务

以 MTEB ArxivClusteringP2P 数据集为例：

重排序任务

以 MTEB AskUbuntuDupQuestions 数据集为例：

句子相似度任务

以 MTEB BIOSSES 数据集为例：

📄 许可证

本项目采用 Apache 2.0 许可证。

我们的项目

Awesome MCP Servers	TensorBlock Studio
一个全面的模型上下文协议（MCP）服务器集合。	一个轻量级、开放且可扩展的多大语言模型交互工作室。
👀 查看我们的成果 👀	👀 查看我们的成果 👀