Distilbert Dot Margin Mse T2 Msmarco

🚀 用於密集段落檢索的Margin - MSE訓練的DistilBert模型

本項目提供了一個基於DistilBert的檢索訓練模型（我們將該架構稱為BERT_Dot）。我們的模型在MSMARCO段落數據集上，使用Margin - MSE方法，基於3個BERT_Cat（拼接BERT評分）教師模型集成進行訓練。

該模型可用於對候選集進行重排序，或直接用於基於向量索引的密集檢索。其架構為6層的DistilBERT，沒有對架構進行添加或修改（僅在訓練過程中更改權重），通過池化CLS向量來獲得查詢/段落表示。我們使用相同的BERT層對查詢和段落進行編碼（這樣能得到更好的結果，並降低內存需求）。

如果您想了解更多關於此模型實例所採用的簡單而有效的知識蒸餾方法，該方法適用於多種學生架構的高效信息檢索模型，請查看我們的論文：https://arxiv.org/abs/2010.02666 🎉

更多信息、訓練數據、源代碼和簡單使用示例，請訪問：https://github.com/sebastian - hofstaetter/neural - ranking - kd

✨ 主要特性

• 基於DistilBert架構，通過Margin - MSE方法和知識蒸餾進行訓練。
• 可用於候選集重排序和基於向量索引的密集檢索。
• 使用相同BERT層對查詢和段落編碼，效果好且節省內存。

📚 詳細文檔

MSMARCO段落和TREC - DL'19上的有效性

我們在MSMARCO標準（“小” - 400K查詢）訓練三元組上，使用知識蒸餾方法，在單張消費級GPU（11GB內存）上以32的批量大小訓練了我們的模型。 對於重排序，我們使用了前1000個BM25結果。

MSMARCO - DEV

TREC - DL'19

對於MRR和Recall，我們使用推薦的分級相關性二值化點2。與其他二值化點數字相比，這可能會使結果產生偏差。

更多基線、信息和分析，請參閱論文：https://arxiv.org/abs/2010.02666

侷限性與偏差

• 該模型繼承了DistilBERT和MSMARCO的社會偏差。
• 該模型僅在MSMARCO相對較短的段落（平均60個單詞長度）上進行訓練，因此可能在處理較長文本時遇到困難。

引用

如果您使用我們的模型檢查點，請按以下方式引用我們的工作：

@misc{hofstaetter2020_crossarchitecture_kd,
      title={Improving Efficient Neural Ranking Models with Cross - Architecture Knowledge Distillation}, 
      author={Sebastian Hofst{\"a}tter and Sophia Althammer and Michael Schr{\"o}der and Mete Sertkan and Allan Hanbury},
      year={2020},
      eprint={2010.02666},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}