Gte Qwen2 7B Instruct GGUF

🚀 Alibaba-NLP/gte-Qwen2-7B-instruct - GGUF

本倉庫包含 Alibaba-NLP/gte-Qwen2-7B-instruct 模型的 GGUF 格式文件。

這些文件由 TensorBlock 提供的機器進行量化，並且與截至 提交 b4011 的 llama.cpp 兼容。

✨ 主要特性

• 提供多種量化類型的模型文件，可根據不同需求選擇。
• 與 llama.cpp 兼容，方便在相關環境中使用。

📦 安裝指南

命令行方式

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/gte-Qwen2-7B-instruct-GGUF --include "gte-Qwen2-7B-instruct-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下載多個模型文件，可以嘗試以下命令：

huggingface-cli download tensorblock/gte-Qwen2-7B-instruct-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

💻 使用示例

提示模板

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 詳細文檔

模型文件規格

🔧 技術細節

該模型在多個數據集上進行了評估，涵蓋了分類、檢索、聚類、重排序、句子相似度等多種任務，以下是部分數據集的評估結果：

分類任務

檢索任務

以 MTEB ArguAna 數據集為例：

聚類任務

以 MTEB ArxivClusteringP2P 數據集為例：

重排序任務

以 MTEB AskUbuntuDupQuestions 數據集為例：

句子相似度任務

以 MTEB BIOSSES 數據集為例：

📄 許可證

本項目採用 Apache 2.0 許可證。

我們的項目

Awesome MCP Servers	TensorBlock Studio
一個全面的模型上下文協議（MCP）服務器集合。	一個輕量級、開放且可擴展的多大語言模型交互工作室。
👀 查看我們的成果 👀	👀 查看我們的成果 👀