Reranker MiniLM L6 H384 Uncased Gooaq 5 Epoch 1995000

🚀 基于nreimers/MiniLM-L6-H384-uncased的交叉编码器

这是一个基于 nreimers/MiniLM-L6-H384-uncased 微调的 交叉编码器 模型，使用了 sentence-transformers 库。它可以计算文本对的分数，可用于文本重排序和语义搜索。

🚀 快速开始

直接使用（Sentence Transformers）

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后你可以加载这个模型并进行推理。

from sentence_transformers import CrossEncoder

# 从 🤗 Hub 下载
model = CrossEncoder("ayushexel/reranker-MiniLM-L6-H384-uncased-gooaq-5-epoch-1995000")
# 获取文本对的分数
pairs = [
    ['2020年民主党总统辩论何时举行？', '主要候选人提名将在2020年民主党全国代表大会上正式确定，该大会暂定于2020年8月17日至20日在威斯康星州密尔沃基举行。'],
    ['2020年民主党总统辩论何时举行？', '主要候选人截至2020年6月8日，前副总统乔·拜登通过积累足够的代表票数，成为了总统候选人的推定人选。'],
    ['2020年民主党总统辩论何时举行？', '2019年3月5日，布隆伯格宣布他不会参加2020年总统竞选；相反，他鼓励民主党“提名一位最有能力击败唐纳德·特朗普的民主党人”。'],
    ['2020年民主党总统辩论何时举行？', '基于2010年人口普查数据的2020年选举地图。2020年美国总统大选定于2020年11月3日星期二举行。这将是第59届总统大选。'],
    ['2020年民主党总统辩论何时举行？', '共有29位主要民主党候选人。其中，23位候选人参加了至少一场辩论。只有乔·拜登和伯尼·桑德斯参加了所有辩论；皮特·布蒂吉格、艾米·克洛布查尔和伊丽莎白·沃伦参加了除一场之外的所有辩论。'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# 或者根据与单个文本的相似度对不同文本进行排序
ranks = model.rank(
    '2020年民主党总统辩论何时举行？',
    [
        '主要候选人提名将在2020年民主党全国代表大会上正式确定，该大会暂定于2020年8月17日至20日在威斯康星州密尔沃基举行。',
        '主要候选人截至2020年6月8日，前副总统乔·拜登通过积累足够的代表票数，成为了总统候选人的推定人选。',
        '2019年3月5日，布隆伯格宣布他不会参加2020年总统竞选；相反，他鼓励民主党“提名一位最有能力击败唐纳德·特朗普的民主党人”。',
        '基于2010年人口普查数据的2020年选举地图。2020年美国总统大选定于2020年11月3日星期二举行。这将是第59届总统大选。',
        '共有29位主要民主党候选人。其中，23位候选人参加了至少一场辩论。只有乔·拜登和伯尼·桑德斯参加了所有辩论；皮特·布蒂吉格、艾米·克洛布查尔和伊丽莎白·沃伦参加了除一场之外的所有辩论。',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

✨ 主要特性

• 基于 nreimers/MiniLM-L6-H384-uncased 模型微调，可用于文本重排序和语义搜索。
• 计算文本对的分数，输出单个标签。

📦 模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 文档：交叉编码器文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的交叉编码器

📚 评估

指标

交叉编码器重排序

• 数据集：gooaq-dev
• 使用 CrossEncoderRerankingEvaluator 进行评估，参数如下：

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

交叉编码器重排序

• 数据集：NanoMSMARCO_R100、NanoNFCorpus_R100 和 NanoNQ_R100
• 使用 CrossEncoderRerankingEvaluator 进行评估，参数如下：

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

交叉编码器 Nano BEIR

• 数据集：NanoBEIR_R100_mean
• 使用 CrossEncoderNanoBEIREvaluator 进行评估，参数如下：

  {
      "dataset_names": [
          "msmarco",
          "nfcorpus",
          "nq"
      ],
      "rerank_k": 100,
      "at_k": 10,
      "always_rerank_positives": true
  }
  

🔧 训练详情

训练数据集

未命名数据集

• 大小：11,456,701 个训练样本
• 列：question、answer 和 label
• 基于前 1000 个样本的近似统计信息：

  	问题	答案	标签
  类型	字符串	字符串	整数
  详情	最小：18 个字符 平均：43.15 个字符 最大：83 个字符	最小：59 个字符 平均：257.34 个字符 最大：388 个字符	0：~82.40% 1：~17.60%

• 样本：

  问题	答案	标签
  2020年民主党总统辩论何时举行？	主要候选人提名将在2020年民主党全国代表大会上正式确定，该大会暂定于2020年8月17日至20日在威斯康星州密尔沃基举行。	1
  2020年民主党总统辩论何时举行？	主要候选人截至2020年6月8日，前副总统乔·拜登通过积累足够的代表票数，成为了总统候选人的推定人选。	0
  2020年民主党总统辩论何时举行？	2019年3月5日，布隆伯格宣布他不会参加2020年总统竞选；相反，他鼓励民主党“提名一位最有能力击败唐纳德·特朗普的民主党人”。	0

• 损失函数：BinaryCrossEntropyLoss，参数如下：

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": 5
  }
  

训练超参数

非默认超参数

• eval_strategy：按步数评估
• per_device_train_batch_size：256
• per_device_eval_batch_size：256
• learning_rate：2e-05
• num_train_epochs：5
• warmup_ratio：0.1
• seed：12
• bf16：True
• dataloader_num_workers：12
• load_best_model_at_end：True

框架版本

• Python：3.11.0
• Sentence Transformers：4.0.1
• Transformers：4.50.3
• PyTorch：2.6.0+cu124
• Accelerate：1.5.2
• Datasets：3.5.0
• Tokenizers：0.21.1

📄 许可证

本模型使用 Apache-2.0 许可证。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}