Bge Reranker Ft

🚀 基於BAAI/bge-reranker-base的交叉編碼器

這是一個基於 Sentence Transformers 庫，從 BAAI/bge-reranker-base 微調而來的 交叉編碼器 模型。它可以計算文本對的得分，用於文本重排序和語義搜索。

🚀 快速開始

直接使用（Sentence Transformers）

首先安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

然後，你可以加載此模型並運行推理：

from sentence_transformers import CrossEncoder

# 從 Hugging Face Hub 下載
model = CrossEncoder("foochun/bge-reranker-ft")
# 獲取文本對的得分
pairs = [
    ['zach koh yong liang', 'yong liang koh zach'],
    ['zulkifli bin mohamad', 'zulkifli bin muhammad'],
    ['rahman bin mohd rashid', 'rahman mohammed rashid'],
    ['mohd syukri bin bakar', 'muhd syukri bakar'],
    ['carmen tan fang kiat', 'tan fang kiat'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# 或者根據與單個文本的相似度對不同文本進行排序
ranks = model.rank(
    'zach koh yong liang',
    [
        'yong liang koh zach',
        'zulkifli bin muhammad',
        'rahman mohammed rashid',
        'muhd syukri bakar',
        'tan fang kiat',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

✨ 主要特性

該模型是一個基於 BAAI/bge-reranker-base 微調的交叉編碼器，能夠計算文本對的得分，可用於文本重排序和語義搜索。

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 文檔：交叉編碼器文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的交叉編碼器

訓練詳情

訓練數據集

• 未命名數據集
  • 大小：72,905 個訓練樣本
  • 列：query、pos 和 neg
  • 基於前 1000 個樣本的近似統計信息：

    	查詢	正樣本	負樣本
    類型	字符串	字符串	字符串
    詳情	最小長度：9 個字符 平均長度：19.91 個字符 最大長度：45 個字符	最小長度：9 個字符 平均長度：17.64 個字符 最大長度：40 個字符	最小長度：9 個字符 平均長度：17.95 個字符 最大長度：37 個字符

  • 樣本：

    查詢	正樣本	負樣本
    sim hong soon	sim hong soon	sim soon hong
    raja mariam binti raja sharif	raja mariam raja sharif	zuraidah binti dollah
    saw ann fui	fui saw ann	ann saw fui

  • 損失函數：MultipleNegativesRankingLoss，參數如下：

    {
        "scale": 10.0,
        "num_negatives": 4,
        "activation_fn": "torch.nn.modules.activation.Sigmoid"
    }
    

評估數據集

• 未命名數據集
  • 大小：10,415 個評估樣本
  • 列：query、pos 和 neg
  • 基於前 1000 個樣本的近似統計信息：

    	查詢	正樣本	負樣本
    類型	字符串	字符串	字符串
    詳情	最小長度：9 個字符 平均長度：19.95 個字符 最大長度：43 個字符	最小長度：9 個字符 平均長度：17.8 個字符 最大長度：42 個字符	最小長度：8 個字符 平均長度：18.33 個字符 最大長度：36 個字符

  • 樣本：

    查詢	正樣本	負樣本
    zach koh yong liang	yong liang koh zach	liang yong koh zach
    zulkifli bin mohamad	zulkifli bin muhammad	razak bin ibrahim
    rahman bin mohd rashid	rahman mohammed rashid	fauzi bin mohd

  • 損失函數：MultipleNegativesRankingLoss，參數如下：

    {
        "scale": 10.0,
        "num_negatives": 4,
        "activation_fn": "torch.nn.modules.activation.Sigmoid"
    }
    

訓練超參數

非默認超參數

• eval_strategy：按步數評估
• per_device_train_batch_size：64
• per_device_eval_batch_size：64
• learning_rate：1e-05
• warmup_ratio：0.1
• seed：12
• fp16：True
• dataloader_num_workers：4
• load_best_model_at_end：True
• batch_sampler：無重複採樣

所有超參數

訓練日誌

框架版本

• Python：3.11.9
• Sentence Transformers：4.1.0
• Transformers：4.51.3
• PyTorch：2.6.0+cu124
• Accelerate：1.6.0
• Datasets：3.6.0
• Tokenizers：0.21.1

📄 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}