Distilbert Dot Margin Mse T2 Msmarco

🚀 密なパッセージ検索のためのMargin - MSEで学習されたDistilBert

このモデルは、検索用に学習されたDistilBertベースのモデル（アーキテクチャをBERT_Dotと呼びます）を提供します。このモデルは、MSMARCO - Passageデータセット上で3つの教師モデルBERT_Cat（連結BERTスコアリング）のアンサンブルを用いてMargin - MSEで学習されています。

このモデルは、候補集合の再ランキングやベクトルインデックスベースの密な検索に直接使用することができます。アーキテクチャは6層のDistilBERTで、アーキテクチャの追加や変更は行われておらず（学習中に重みのみを変更します）、クエリやパッセージの表現を得るためにCLSベクトルをプーリングします。クエリとパッセージのエンコーディングに同じBERT層を使用しているため（より良い結果が得られ、メモリ要件も低くなります）。

このモデルインスタンスに使用されている、さまざまな学生アーキテクチャに対する効率的な情報検索モデルのためのシンプルで効果的な知識蒸留方法の詳細については、論文をご覧ください：https://arxiv.org/abs/2010.02666 🎉

詳細情報、学習データ、ソースコード、および最小限の使用例については、こちらをご覧ください：https://github.com/sebastian - hofstaetter/neural - ranking - kd

🚀 クイックスタート

このモデルは、MSMARCOデータセットを用いて知識蒸留により学習されており、単一の消費者向けGPU（11GBメモリ）でバッチサイズ32で学習を行っています。再ランキングには、上位1000件のBM25結果を使用しています。

✨ 主な機能

• 再ランキング機能：候補集合の再ランキングに使用できます。
• 密な検索機能：ベクトルインデックスベースの密な検索に直接使用できます。
• 効率的なアーキテクチャ：6層のDistilBERTを使用し、メモリ要件が低く、性能も良好です。

📚 ドキュメント

MSMARCOパッセージとTREC - DL'19での有効性

このモデルは、MSMARCOの標準（「小規模」 - 400Kクエリ）学習トリプルを使用して、知識蒸留により学習されています。再ランキングには、上位1000件のBM25結果を使用しています。

MSMARCO - DEV

TREC - DL'19

MRRとRecallの評価には、推奨されるグレード付き関連性の二値化ポイント2を使用しています。これは、他の二値化ポイントと比較すると結果に影響を与える可能性があります。

より多くのベースライン、情報、および分析については、論文をご覧ください：https://arxiv.org/abs/2010.02666

🔧 技術詳細

• アーキテクチャ：6層のDistilBERTを使用しています。
• 学習方法：Margin - MSEを使用して、3つの教師モデルBERT_Catのアンサンブルを用いて知識蒸留を行っています。
• 学習データ：MSMARCOパッセージデータセットを使用しています。

📄 ライセンス

論文を引用する場合は、以下のように引用してください。

@misc{hofstaetter2020_crossarchitecture_kd,
      title={Improving Efficient Neural Ranking Models with Cross-Architecture Knowledge Distillation}, 
      author={Sebastian Hofst{\"a}tter and Sophia Althammer and Michael Schr{\"o}der and Mete Sertkan and Allan Hanbury},
      year={2020},
      eprint={2010.02666},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}

⚠️ 注意事項

• このモデルは、DistilBERTとMSMARCOの両方から社会的バイアスを引き継いでいます。
• このモデルは、比較的短いMSMARCOのパッセージ（平均60語）でのみ学習されているため、長いテキストでは性能が低下する可能性があります。