Gte Large En V1.5

🚀 gte-large-en-v1.5

我们推出了 gte-v1.5 系列，这是升级版的 gte 嵌入模型，支持最长达 8192 的上下文长度，同时进一步提升了模型性能。该模型基于 transformer++ 编码器 主干网络（BERT + RoPE + GLU）构建。

gte-v1.5 系列在 MTEB 基准测试的相同模型尺寸类别中取得了最先进的分数，并在 LoCo 长上下文检索测试中表现出色（详见评估）。

我们还推出了 gte-Qwen1.5-7B-instruct，这是一个最先进的指令微调多语言嵌入模型，在 MTEB 中排名第二，在 C - MTEB 中排名第一。

• 开发者： 阿里巴巴集团智能计算研究所
• 模型类型： 文本嵌入
• 论文： mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

模型列表

🚀 快速开始

使用transformers库

使用以下代码开始使用该模型：

# Requires transformers>=4.36.0

import torch.nn.functional as F
from transformers import AutoModel, AutoTokenizer

input_texts = [
    "what is the capital of China?",
    "how to implement quick sort in python?",
    "Beijing",
    "sorting algorithms"
]

model_path = 'Alibaba-NLP/gte-large-en-v1.5'
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True)

# Tokenize the input texts
batch_dict = tokenizer(input_texts, max_length=8192, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]
 
# (Optionally) normalize embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T) * 100
print(scores.tolist())

⚠️ 重要提示

建议安装 xformers 并启用非填充（unpadding）以加速推理，详情请参考 enable-unpadding-and-xformers。

使用sentence-transformers库

# Requires sentence_transformers>=2.7.0

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

sentences = ['That is a happy person', 'That is a very happy person']

model = SentenceTransformer('Alibaba-NLP/gte-large-en-v1.5', trust_remote_code=True)
embeddings = model.encode(sentences)
print(cos_sim(embeddings[0], embeddings[1]))

使用 transformers.js

// npm i @xenova/transformers
import { pipeline, dot } from '@xenova/transformers';

// Create feature extraction pipeline
const extractor = await pipeline('feature-extraction', 'Alibaba-NLP/gte-large-en-v1.5', {
    quantized: false, // Comment out this line to use the quantized version
});

// Generate sentence embeddings
const sentences = [
    "what is the capital of China?",
    "how to implement quick sort in python?",
    "Beijing",
    "sorting algorithms"
]
const output = await extractor(sentences, { normalize: true, pooling: 'cls' });

// Compute similarity scores
const [source_embeddings, ...document_embeddings ] = output.tolist();
const similarities = document_embeddings.map(x => 100 * dot(source_embeddings, x));
console.log(similarities); // [41.86354093370361, 77.07076371259589, 37.02981979677899]

📦 安装指南

使用该模型需要安装相应的库，以下是不同使用场景下的依赖要求：

• 使用 transformers 库：transformers>=4.36.0
• 使用 sentence-transformers 库：sentence_transformers>=2.7.0
• 使用 transformers.js：通过 npm i @xenova/transformers 安装

🔧 技术细节

训练数据

• 掩码语言模型（MLM）：c4-en
• 弱监督对比预训练（CPT）：GTE 预训练数据
• 监督对比微调：GTE 微调数据

训练过程

为了使主干模型支持 8192 的上下文长度，我们采用了多阶段训练策略。模型首先在较短长度上进行初步的 MLM 预训练，然后重新采样数据，减少短文本的比例，并继续进行 MLM 预训练。

整个训练过程如下：

• MLM - 512：学习率 2e - 4，掩码概率 0.3，批次大小 4096，步数 300000，RoPE 基数 10000
• MLM - 2048：学习率 5e - 5，掩码概率 0.3，批次大小 4096，步数 30000，RoPE 基数 10000
• MLM - 8192：学习率 5e - 5，掩码概率 0.3，批次大小 1024，步数 30000，RoPE 基数 160000
• CPT：最大长度 512，学习率 5e - 5，批次大小 28672，步数 100000
• 微调：待补充

📚 详细文档

MTEB 评估

其他模型的结果取自 MTEB 排行榜。

gte 评估设置：mteb==1.2.0，FP16 自动混合精度，max_length = 8192，并将 NTK 缩放因子设置为 2（相当于 RoPE 基数 * 2）。

LoCo 评估

📄 许可证

本项目采用 Apache 2.0 许可证。

📖 引用

如果您觉得我们的论文或模型有帮助，请考虑按以下方式引用：

@article{zhang2024mgte,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval},
  author={Zhang, Xin and Zhang, Yanzhao and Long, Dingkun and Xie, Wen and Dai, Ziqi and Tang, Jialong and Lin, Huan and Yang, Baosong and Xie, Pengjun and Huang, Fei and others},
  journal={arXiv preprint arXiv:2407.19669},
  year={2024}
}

@article{li2023towards,
  title={Towards general text embeddings with multi-stage contrastive learning},
  author={Li, Zehan and Zhang, Xin and Zhang, Yanzhao and Long, Dingkun and Xie, Pengjun and Zhang, Meishan},
  journal={arXiv preprint arXiv:2308.03281},
  year={2023}
}