Cotmae Base Msmarco Reranker

🚀 CoT-MAE MS-Marco Passage Reranker

CoT-MAEは、密なパッセージ検索のために設計された、Transformerベースのマスクオートエンコーダ事前学習アーキテクチャです。 CoT-MAE MS-Marco Passage Reranker は、CoT-MAEリトリーバーで採掘されたMS-Marcoの難しいネガティブ事例を使用して、Tevatronツールキットで学習されたリランカーです。

詳細は、当社の論文とコードを参照してください。

論文: ConTextual Mask Auto-Encoder for Dense Passage Retrieval

コード: caskcsg/ir/cotmae

🚀 クイックスタート

このリポジトリでは、CoT-MAE MS-Marco Passage Rerankerに関する情報を提供しています。このリランカーは、密なパッセージ検索のために設計されたCoT-MAEアーキテクチャを利用しています。

✨ 主な機能

• CoT-MAEというTransformerベースのMask Auto-Encoder事前学習アーキテクチャを利用。
• MS-Marcoの難しいネガティブ事例を用いて学習されたリランカー。

📚 ドキュメント

スコア

MS-Marco Passage full-ranking + top-200 rerank

まず、CoT-MAE MS-Marco Passage Retriever (cotmae_base_msmarco_retrieverと命名) を使用して検索を行い、次にリランカーを使用して上位200件の検索結果を再スコアリングします。性能は以下の通りです。

引用

もし当社の研究が役に立った場合は、論文を引用してください。

@misc{https://doi.org/10.48550/arxiv.2208.07670,
  doi = {10.48550/ARXIV.2208.07670},
  url = {https://arxiv.org/abs/2208.07670},
  author = {Wu, Xing and Ma, Guangyuan and Lin, Meng and Lin, Zijia and Wang, Zhongyuan and Hu, Songlin},
  keywords = {Computation and Language (cs.CL), Artificial Intelligence (cs.AI), FOS: Computer and information sciences, FOS: Computer and information sciences},
  title = {ConTextual Mask Auto-Encoder for Dense Passage Retrieval},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}