Distilbert Dot Tas B B256 Msmarco

🚀 用於密集段落檢索的DistilBert模型（採用平衡主題感知採樣（TAS - B）訓練）

本項目提供了一個基於DistilBert的檢索模型（我們將 雙編碼器然後點積評分 架構稱為BERT_Dot），該模型在MSMARCO段落數據集上採用平衡主題感知採樣方法進行訓練。

此模型以256的批量大小進行訓練，可用於 對候選集進行重新排序 或 直接用於基於向量索引的密集檢索。該架構為6層的DistilBERT，無架構上的添加或修改（僅在訓練期間更改權重）——通過池化CLS向量來獲得查詢/段落表示。我們使用相同的BERT層對查詢和段落進行編碼（這樣能獲得更好的結果，並降低內存需求）。

如果您想了解更多關於我們高效的（可在單個消費級GPU上48小時內完成）批量組成過程以及用於密集檢索訓練的雙重監督方法，請查看我們的論文：https://arxiv.org/abs/2104.06967 🎉

更多信息和簡單使用示例請訪問：https://github.com/sebastian-hofstaetter/tas-balanced-dense-retrieval

✨ 主要特性

在MSMARCO段落數據集和TREC - DL'19上的有效性

我們使用TAS - B方法對MSMARCO標準（“小” - 400K查詢）訓練三元組進行重新採樣，以此訓練模型。我們使用BERT_CAT成對得分以及ColBERT模型作為教師模型，以獲取批次內負樣本信號，相關信息發佈於：https://github.com/sebastian-hofstaetter/neural-ranking-kd

MSMARCO - 開發集（7K）

TREC - DL'19

對於MRR和Recall，我們使用推薦的分級相關性二值化點2。與其他二值化點數字相比，這可能會使結果產生偏差。

TREC - DL'20

對於MRR和Recall，我們使用推薦的分級相關性二值化點2。與其他二值化點數字相比，這可能會使結果產生偏差。

更多基線、信息和分析，請參閱論文：https://arxiv.org/abs/2104.06967

🔧 技術細節

侷限性與偏差

• 該模型繼承了DistilBERT和MSMARCO的社會偏差。
• 該模型僅在MSMARCO相對較短的段落（平均60個單詞長度）上進行訓練，因此處理較長文本時可能會遇到困難。

📄 許可證

引用

如果您使用我們的模型檢查點，請按以下方式引用我們的工作：

@inproceedings{Hofstaetter2021_tasb_dense_retrieval,
 author = {Sebastian Hofst{\"a}tter and Sheng-Chieh Lin and Jheng-Hong Yang and Jimmy Lin and Allan Hanbury},
 title = {{Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling}},
 booktitle = {Proc. of SIGIR},
 year = {2021},
}