Distilbert Dot Tas B B256 Msmarco

🚀 バランストピックアウェアサンプリング (TAS - B) で学習された密パッセージ検索用DistilBert

私たちは、MSMARCO - Passage上でバランストピックアウェアサンプリングを用いて学習された、検索用に学習されたDistilBertベースのモデル（デュアルエンコーダ + ドット積スコアリング アーキテクチャをBERT_Dotと呼びます）を提供しています。

このモデルはバッチサイズ256で学習されており、候補セットの再ランキング または ベクトルインデックスベースの密検索に直接 使用することができます。アーキテクチャは6層のDistilBERTで、アーキテクチャの追加や変更はなく（学習中に重みのみを変更します）、クエリ/パッセージの表現を得るためにCLSベクトルをプーリングします。クエリとパッセージのエンコーディングに同じBERT層を使用しています（より良い結果が得られ、メモリ要件も低くなります）。

私たちの効率的な（48時間で単一のコンシューマーGPUで実行可能）バッチ構成手順と密検索学習のためのデュアル監督について詳しく知りたい場合は、私たちの論文をチェックしてください：https://arxiv.org/abs/2104.06967 🎉

詳細情報と最小限の使用例については、こちらをご覧ください：https://github.com/sebastian - hofstaetter/tas - balanced - dense - retrieval

MSMARCO PassageとTREC - DL'19での有効性

私たちは、TAS - B手法で再サンプリングされたMSMARCO標準（「小規模」 - 400Kクエリ）学習トリプルでモデルを学習させました。教師モデルとして、BERT_CATのペアワイズスコアと、こちらで公開されているColBERTモデルのバッチ内ネガティブ信号を使用しました：https://github.com/sebastian - hofstaetter/neural - ranking - kd

MSMARCO - DEV (7K)

TREC - DL'19

MRRとRecallについては、推奨されるグレード付き関連性の二値化ポイント2を使用しています。これは、他の二値化ポイントの数と比較すると結果が歪む可能性があります。

TREC - DL'20

MRRとRecallについては、推奨されるグレード付き関連性の二値化ポイント2を使用しています。これは、他の二値化ポイントの数と比較すると結果が歪む可能性があります。

より多くのベースライン、情報、分析については、論文を参照してください：https://arxiv.org/abs/2104.06967

制限事項とバイアス

• このモデルは、DistilBERTとMSMARCOの両方から社会的バイアスを引き継いでいます。

• このモデルは、比較的短いMSMARCOのパッセージ（平均60語）でのみ学習されているため、長いテキストでは苦労する可能性があります。

引用

このモデルのチェックポイントを使用する場合は、以下のように私たちの研究を引用してください。

@inproceedings{Hofstaetter2021_tasb_dense_retrieval,
 author = {Sebastian Hofst{\"a}tter and Sheng - Chieh Lin and Jheng - Hong Yang and Jimmy Lin and Allan Hanbury},
 title = {{Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling}},
 booktitle = {Proc. of SIGIR},
 year = {2021},
}