Msmarco Distilbert Margin Mse

🚀 零样本基线模型

本模型是论文 "GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense Retrieval" 中的零样本基线模型。该模型为相关领域的研究提供了重要的基础和参考。

🚀 快速开始

训练设置

1. 从 distilbert-base-uncased 开始；
2. 使用 sentence-transformers/msmarco-distilbert-base-v3 和 sentence-transformers/msmarco-MiniLM-L-6-v3 在 MS MARCO 上为每个查询挖掘 50 个难负样本；
3. 使用教师模型 cross-encoder/ms-marco-MiniLM-L-6-v2 对元组（包括查询、相关黄金样本和难负样本）进行 Margin - MSE 训练，训练 70K 步，批量大小为 75，最大序列长度为 350。