Gte Qwen2 7B Instruct GGUF

🚀 gte-Qwen2-7B-instruct

gte-Qwen2-7B-instruct 是 gte（通用文本嵌入）模型家族的最新模型，截至 2024 年 6 月 16 日，该模型在大规模文本嵌入基准测试 MTEB 基准 的英文和中文评估中均排名 第一。

近期，通义团队 发布了通义千问 2 系列模型，我们基于 Qwen2-7B 大语言模型训练了 gte-Qwen2-7B-instruct 模型。与 gte-Qwen1.5-7B-instruct 模型相比，gte-Qwen2-7B-instruct 模型在微调阶段使用了相同的训练数据和训练策略，唯一的区别是将基础模型升级为 Qwen2-7B。考虑到通义千问 2 系列模型相较于通义千问 1.5 系列的改进，我们也可以预期嵌入模型的性能会有相应提升。

该模型包含了以下几个关键的改进：

• 集成了双向注意力机制，丰富了其上下文理解能力。
• 仅在查询端应用指令调优，以提高效率。
• 在庞大的多语言文本语料库上进行全面训练，涵盖了不同领域和场景。这种训练利用了弱监督和监督数据，确保模型适用于多种语言和广泛的下游任务。

✨ 主要特性

• 性能卓越：在 MTEB 基准测试的英文和中文评估中均排名第一，展现出强大的文本嵌入能力。
• 架构升级：基于 Qwen2-7B 基础模型，集成双向注意力机制，提升上下文理解能力。
• 指令调优：仅在查询端应用指令调优，提高效率。
• 多语言支持：在多语言文本语料库上进行训练，适用于多种语言和下游任务。

📦 安装指南

transformers>=4.39.2
flash_attn>=2.5.6

💻 使用示例

基础用法

Sentence Transformers

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("Alibaba-NLP/gte-Qwen2-7B-instruct", trust_remote_code=True)
# 如果你想减少最大长度：
model.max_seq_length = 8192

queries = [
    "how much protein should a female eat",
    "summit define",
]
documents = [
    "As a general guideline, the CDC's average requirement of protein for women ages 19 to 70 is 46 grams per day. But, as you can see from this chart, you'll need to increase that if you're expecting or training for a marathon. Check out the chart below to see how much protein you should be eating each day.",
    "Definition of summit for English Language Learners. : 1  the highest point of a mountain : the top of a mountain. : 2  the highest level. : 3  a meeting or series of meetings between the leaders of two or more governments.",
]

query_embeddings = model.encode(queries, prompt_name="query")
document_embeddings = model.encode(documents)

scores = (query_embeddings @ document_embeddings.T) * 100
print(scores.tolist())

你可以查看 config_sentence_transformers.json 以了解所有预构建的提示名称。否则，你可以使用 model.encode(queries, prompt="Instruct: ...\nQuery: " 来使用你选择的自定义提示。

Transformers

import torch
import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel


def last_token_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    left_padding = (attention_mask[:, -1].sum() == attention_mask.shape[0])
    if left_padding:
        return last_hidden_states[:, -1]
    else:
        sequence_lengths = attention_mask.sum(dim=1) - 1
        batch_size = last_hidden_states.shape[0]
        return last_hidden_states[torch.arange(batch_size, device=last_hidden_states.device), sequence_lengths]


def get_detailed_instruct(task_description: str, query: str) -> str:
    return f'Instruct: {task_description}\nQuery: {query}'


# 每个查询必须附带一个描述任务的单句指令
task = 'Given a web search query, retrieve relevant passages that answer the query'
queries = [
    get_detailed_instruct(task, 'how much protein should a female eat'),
    get_detailed_instruct(task, 'summit define')
]
# 检索文档无需添加指令
documents = [
    "As a general guideline, the CDC's average requirement of protein for women ages 19 to 70 is 46 grams per day. But, as you can see from this chart, you'll need to increase that if you're expecting or training for a marathon. Check out the chart below to see how much protein you should be eating each day.",
    "Definition of summit for English Language Learners. : 1  the highest point of a mountain : the top of a mountain. : 2  the highest level. : 3  a meeting or series of meetings between the leaders of two or more governments."
]
input_texts = queries + documents

tokenizer = AutoTokenizer.from_pretrained('Alibaba-NLP/gte-Qwen2-7B-instruct', trust_remote_code=True)
model = AutoModel.from_pretrained('Alibaba-NLP/gte-Qwen2-7B-instruct', trust_remote_code=True)

max_length = 8192

# 对输入文本进行分词
batch_dict = tokenizer(input_texts, max_length=max_length, padding=True, truncation=True, return_tensors='pt')
outputs = model(**batch_dict)
embeddings = last_token_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# 对嵌入向量进行归一化
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T) * 100
print(scores.tolist())

📚 详细文档

模型信息

评估

MTEB & C-MTEB

你可以使用 scripts/eval_mteb.py 来复现 gte-Qwen2-7B-instruct 在 MTEB（英文）/C-MTEB（中文）上的以下结果：

GTE 模型

gte 系列模型一直发布两种类型的模型：仅编码器模型（基于 BERT 架构）和解码器模型（基于大语言模型架构）。

云 API 服务

除了开源的 GTE 系列模型外，GTE 系列模型还可在阿里云上作为商业 API 服务使用。

• 嵌入模型：提供三种版本的文本嵌入模型：text-embedding-v1/v2/v3，其中 v3 是最新的 API 服务。
• 重排序模型：提供 gte-rerank 模型服务。

请注意，商业 API 背后的模型与开源模型并不完全相同。

📄 许可证

@article{li2023towards,
  title={Towards general text embeddings with multi-stage contrastive learning},
  author={Li, Zehan and Zhang, Xin and Zhang, Yanzhao and Long, Dingkun and Xie, Pengjun and Zhang, Meishan},
  journal={arXiv preprint arXiv:2308.03281},
  year={2023}
}