Gte Large En V1.5

🚀 gte-large-en-v1.5

我們推出了 gte-v1.5 系列，這是升級版的 gte 嵌入模型，支持最長達 8192 的上下文長度，同時進一步提升了模型性能。該模型基於 transformer++ 編碼器 主幹網絡（BERT + RoPE + GLU）構建。

gte-v1.5 系列在 MTEB 基準測試的相同模型尺寸類別中取得了最先進的分數，並在 LoCo 長上下文檢索測試中表現出色（詳見評估）。

我們還推出了 gte-Qwen1.5-7B-instruct，這是一個最先進的指令微調多語言嵌入模型，在 MTEB 中排名第二，在 C - MTEB 中排名第一。

• 開發者： 阿里巴巴集團智能計算研究所
• 模型類型： 文本嵌入
• 論文： mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

模型列表

🚀 快速開始

使用transformers庫

使用以下代碼開始使用該模型：

# Requires transformers>=4.36.0

import torch.nn.functional as F
from transformers import AutoModel, AutoTokenizer

input_texts = [
    "what is the capital of China?",
    "how to implement quick sort in python?",
    "Beijing",
    "sorting algorithms"
]

model_path = 'Alibaba-NLP/gte-large-en-v1.5'
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True)

# Tokenize the input texts
batch_dict = tokenizer(input_texts, max_length=8192, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]
 
# (Optionally) normalize embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T) * 100
print(scores.tolist())

⚠️ 重要提示

建議安裝 xformers 並啟用非填充（unpadding）以加速推理，詳情請參考 enable-unpadding-and-xformers。

使用sentence-transformers庫

# Requires sentence_transformers>=2.7.0

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

sentences = ['That is a happy person', 'That is a very happy person']

model = SentenceTransformer('Alibaba-NLP/gte-large-en-v1.5', trust_remote_code=True)
embeddings = model.encode(sentences)
print(cos_sim(embeddings[0], embeddings[1]))

使用 transformers.js

// npm i @xenova/transformers
import { pipeline, dot } from '@xenova/transformers';

// Create feature extraction pipeline
const extractor = await pipeline('feature-extraction', 'Alibaba-NLP/gte-large-en-v1.5', {
    quantized: false, // Comment out this line to use the quantized version
});

// Generate sentence embeddings
const sentences = [
    "what is the capital of China?",
    "how to implement quick sort in python?",
    "Beijing",
    "sorting algorithms"
]
const output = await extractor(sentences, { normalize: true, pooling: 'cls' });

// Compute similarity scores
const [source_embeddings, ...document_embeddings ] = output.tolist();
const similarities = document_embeddings.map(x => 100 * dot(source_embeddings, x));
console.log(similarities); // [41.86354093370361, 77.07076371259589, 37.02981979677899]

📦 安裝指南

使用該模型需要安裝相應的庫，以下是不同使用場景下的依賴要求：

• 使用 transformers 庫：transformers>=4.36.0
• 使用 sentence-transformers 庫：sentence_transformers>=2.7.0
• 使用 transformers.js：通過 npm i @xenova/transformers 安裝

🔧 技術細節

訓練數據

• 掩碼語言模型（MLM）：c4-en
• 弱監督對比預訓練（CPT）：GTE 預訓練數據
• 監督對比微調：GTE 微調數據

訓練過程

為了使主幹模型支持 8192 的上下文長度，我們採用了多階段訓練策略。模型首先在較短長度上進行初步的 MLM 預訓練，然後重新採樣數據，減少短文本的比例，並繼續進行 MLM 預訓練。

整個訓練過程如下：

• MLM - 512：學習率 2e - 4，掩碼概率 0.3，批次大小 4096，步數 300000，RoPE 基數 10000
• MLM - 2048：學習率 5e - 5，掩碼概率 0.3，批次大小 4096，步數 30000，RoPE 基數 10000
• MLM - 8192：學習率 5e - 5，掩碼概率 0.3，批次大小 1024，步數 30000，RoPE 基數 160000
• CPT：最大長度 512，學習率 5e - 5，批次大小 28672，步數 100000
• 微調：待補充

📚 詳細文檔

MTEB 評估

其他模型的結果取自 MTEB 排行榜。

gte 評估設置：mteb==1.2.0，FP16 自動混合精度，max_length = 8192，並將 NTK 縮放因子設置為 2（相當於 RoPE 基數 * 2）。

LoCo 評估

📄 許可證

本項目採用 Apache 2.0 許可證。

📖 引用

如果您覺得我們的論文或模型有幫助，請考慮按以下方式引用：

@article{zhang2024mgte,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval},
  author={Zhang, Xin and Zhang, Yanzhao and Long, Dingkun and Xie, Wen and Dai, Ziqi and Tang, Jialong and Lin, Huan and Yang, Baosong and Xie, Pengjun and Huang, Fei and others},
  journal={arXiv preprint arXiv:2407.19669},
  year={2024}
}

@article{li2023towards,
  title={Towards general text embeddings with multi-stage contrastive learning},
  author={Li, Zehan and Zhang, Xin and Zhang, Yanzhao and Long, Dingkun and Xie, Pengjun and Zhang, Meishan},
  journal={arXiv preprint arXiv:2308.03281},
  year={2023}
}