Distilbert Dot Margin Mse T2 Msmarco

🚀 用于密集段落检索的Margin - MSE训练的DistilBert模型

本项目提供了一个基于DistilBert的检索训练模型（我们将该架构称为BERT_Dot）。我们的模型在MSMARCO段落数据集上，使用Margin - MSE方法，基于3个BERT_Cat（拼接BERT评分）教师模型集成进行训练。

该模型可用于对候选集进行重排序，或直接用于基于向量索引的密集检索。其架构为6层的DistilBERT，没有对架构进行添加或修改（仅在训练过程中更改权重），通过池化CLS向量来获得查询/段落表示。我们使用相同的BERT层对查询和段落进行编码（这样能得到更好的结果，并降低内存需求）。

如果您想了解更多关于此模型实例所采用的简单而有效的知识蒸馏方法，该方法适用于多种学生架构的高效信息检索模型，请查看我们的论文：https://arxiv.org/abs/2010.02666 🎉

更多信息、训练数据、源代码和简单使用示例，请访问：https://github.com/sebastian - hofstaetter/neural - ranking - kd

✨ 主要特性

• 基于DistilBert架构，通过Margin - MSE方法和知识蒸馏进行训练。
• 可用于候选集重排序和基于向量索引的密集检索。
• 使用相同BERT层对查询和段落编码，效果好且节省内存。

📚 详细文档

MSMARCO段落和TREC - DL'19上的有效性

我们在MSMARCO标准（“小” - 400K查询）训练三元组上，使用知识蒸馏方法，在单张消费级GPU（11GB内存）上以32的批量大小训练了我们的模型。 对于重排序，我们使用了前1000个BM25结果。

MSMARCO - DEV

TREC - DL'19

对于MRR和Recall，我们使用推荐的分级相关性二值化点2。与其他二值化点数字相比，这可能会使结果产生偏差。

更多基线、信息和分析，请参阅论文：https://arxiv.org/abs/2010.02666

局限性与偏差

• 该模型继承了DistilBERT和MSMARCO的社会偏差。
• 该模型仅在MSMARCO相对较短的段落（平均60个单词长度）上进行训练，因此可能在处理较长文本时遇到困难。

引用

如果您使用我们的模型检查点，请按以下方式引用我们的工作：

@misc{hofstaetter2020_crossarchitecture_kd,
      title={Improving Efficient Neural Ranking Models with Cross - Architecture Knowledge Distillation}, 
      author={Sebastian Hofst{\"a}tter and Sophia Althammer and Michael Schr{\"o}der and Mete Sertkan and Allan Hanbury},
      year={2020},
      eprint={2010.02666},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}