Gte Reranker Modernbert Base

🚀 gte-reranker-modernbert-base

我們很高興推出 gte-modernbert 系列模型，該系列模型基於最新的 modernBERT 僅編碼器預訓練基礎模型構建。gte-modernbert 系列模型包括文本嵌入模型和重排模型。

與當前開源社區中規模相近的模型相比，gte-modernbert 模型在多個文本嵌入和文本檢索評估任務中表現出了具有競爭力的性能，這些評估包括 MTEB、LoCO 和 COIR 評估。

🚀 快速開始

本項目提供了 gte-reranker-modernbert-base 模型的使用方法，你可以根據自己的需求選擇不同的庫進行調用。

✨ 主要特性

• 性能優異：在多個文本嵌入和文本檢索評估任務中表現出了具有競爭力的性能。
• 支持多庫：支持 transformers、sentence-transformers 和 transformers.js 等庫。
• 長輸入支持：最大輸入長度可達 8192 個標記。

📦 安裝指南

安裝 flash_attn（可選）

如果你使用 transformers 和 sentence-transformers，並且你的 GPU 支持，在安裝了 flash_attn 後，將自動使用高效的 Flash Attention 2。這不是必需的。

pip install flash_attn

安裝 sentence-transformers

pip install sentence-transformers

💻 使用示例

基礎用法

使用 transformers 庫

# Requires transformers>=4.48.0
import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_name_or_path = "Alibaba-NLP/gte-reranker-modernbert-base"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForSequenceClassification.from_pretrained(
    model_name_or_path,
    torch_dtype=torch.float16,
)
model.eval()

pairs = [
    ["what is the capital of China?", "Beijing"],
    ["how to implement quick sort in python?", "Introduction of quick sort"],
    ["how to implement quick sort in python?", "The weather is nice today"],
]

with torch.no_grad():
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()
    print(scores)

# tensor([ 2.1387,  2.4609, -1.6729])

使用 sentence-transformers 庫

# Requires transformers>=4.48.0
from sentence_transformers import CrossEncoder

model = CrossEncoder(
    "Alibaba-NLP/gte-reranker-modernbert-base",
    automodel_args={"torch_dtype": "auto"},
)

pairs = [
    ["what is the capital of China?", "Beijing"],
    ["how to implement quick sort in python?","Introduction of quick sort"],
    ["how to implement quick sort in python?", "The weather is nice today"],
]

scores = model.predict(pairs)
print(scores)
# [0.8945664  0.9213594  0.15742092]
# NOTE: Sentence Transformers calls Softmax over the outputs by default, hence the scores are in [0, 1] range.

使用 transformers.js 庫

import {
  AutoTokenizer,
  AutoModelForSequenceClassification,
} from "@huggingface/transformers";

const model_id = "Alibaba-NLP/gte-reranker-modernbert-base";
const model = await AutoModelForSequenceClassification.from_pretrained(
  model_id,
  { dtype: "fp32" }, // Supported options: "fp32", "fp16", "q8", "q4", "q4f16"
);
const tokenizer = await AutoTokenizer.from_pretrained(model_id);

const pairs = [
  ["what is the capital of China?", "Beijing"],
  ["how to implement quick sort in python?", "Introduction of quick sort"],
  ["how to implement quick sort in python?", "The weather is nice today"],
];
const inputs = tokenizer(
  pairs.map((x) => x[0]),
  {
    text_pair: pairs.map((x) => x[1]),
    padding: true,
    truncation: true,
  },
);
const { logits } = await model(inputs);
console.log(logits.tolist()); // [[2.138258218765259], [2.4609625339508057], [-1.6775450706481934]]

📚 詳細文檔

模型概述

• 開發者：阿里巴巴集團通義實驗室
• 模型類型：文本重排器
• 主要語言：英語
• 模型大小：149M
• 最大輸入長度：8192 個標記

模型列表

訓練詳情

gte-modernbert 系列模型遵循之前 GTE 模型 的訓練方案，唯一的區別是預訓練語言模型基礎從 GTE-MLM 替換為 ModernBert。有關更多訓練詳情，請參考我們的論文：mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

評估

MTEB

其他模型的結果取自 MTEB 排行榜。由於 gte-modernbert 系列的所有模型參數都小於 1B，我們僅關注 MTEB 排行榜中參數小於 1B 的模型結果。

LoCo（長文檔檢索）

COIR（代碼檢索任務）

BEIR

招聘信息

我們的通義實驗室團隊正在招聘 研究實習生 和 全職研究員。 我們正在尋找在表徵學習、大語言模型驅動的信息檢索、檢索增強生成（RAG）和基於代理的系統方面有專業知識的熱情人士。 我們的團隊位於充滿活力的 北京 和 杭州 兩座城市。 如果你充滿好奇心，並渴望通過工作產生有意義的影響，我們很樂意收到你的來信。請將簡歷和簡短的自我介紹發送至 dingkun.ldk@alibaba-inc.com。

引用信息

如果你發現我們的論文或模型有幫助，請隨意引用我們。

@inproceedings{zhang2024mgte,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval},
  author={Zhang, Xin and Zhang, Yanzhao and Long, Dingkun and Xie, Wen and Dai, Ziqi and Tang, Jialong and Lin, Huan and Yang, Baosong and Xie, Pengjun and Huang, Fei and others},
  booktitle={Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: Industry Track},
  pages={1393--1412},
  year={2024}
}

@article{li2023towards,
  title={Towards general text embeddings with multi-stage contrastive learning},
  author={Li, Zehan and Zhang, Xin and Zhang, Yanzhao and Long, Dingkun and Xie, Pengjun and Zhang, Meishan},
  journal={arXiv preprint arXiv:2308.03281},
  year={2023}
}

🔧 技術細節

gte-modernbert 系列模型遵循之前 GTE 模型 的訓練方案，唯一的區別是預訓練語言模型基礎從 GTE-MLM 替換為 ModernBert。有關更多訓練細節，請參考我們的論文：mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

📄 許可證

本項目採用 Apache-2.0 許可證。