Bert Multilingual Passage Reranking Msmarco

🚀 多語言段落重排序BERT 🔃 🌍

本模型支持超100種語言的段落重排序，能有效提升搜索結果的相關性，可作為Elasticsearch結果的優化方案。

🚀 快速開始

模型描述

• 輸入：支持超100種語言。查看支持的語言列表獲取所有可用語言。
• 用途：該模塊接收一個搜索查詢[1]和一個段落[2]，計算該段落是否與查詢匹配。它可用於優化Elasticsearch搜索結果，將相關性提升達100%。
• 架構：在BERT之上有一個密集連接的神經網絡，它以768維的[CLS]標記作為輸入並輸出結果（Arxiv）。
• 輸出：僅輸出一個介於 -10 到 10 之間的值。查詢和段落匹配度越高，得分越高。

預期用途和限制

查詢[1]和段落[2]都必須能容納在512個標記內。由於通常需要對前幾十個搜索結果進行重排序，請記住推理時間約為300毫秒/查詢。

如何使用

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("amberoad/bert-multilingual-passage-reranking-msmarco")

model = AutoModelForSequenceClassification.from_pretrained("amberoad/bert-multilingual-passage-reranking-msmarco")

該模型可作為Nboost庫的直接替代品。通過這種方式，無需任何編碼即可直接改進Elasticsearch搜索結果。

訓練數據

該模型使用Microsoft MS Marco數據集進行訓練。此訓練數據集包含約4億個查詢、相關和不相關段落的元組。用於訓練和評估的所有數據集列於此表。訓練使用的數據集稱為 Train Triples Large，評估在 Top 1000 Dev 上進行。開發數據集中共有6900個查詢，每個查詢對應從MS MARCO語料庫中使用BM25檢索到的前1000個段落。

訓練過程

訓練過程與此README中所述相同。查看他們發表在Arxiv上的優秀論文。

我們將BERT模型從僅支持英語改為Google的默認多語言無大小寫BERT模型。

訓練進行了400000步，在TPU V3 - 8上耗時約12小時。

評估結果

在英語Bing查詢數據集中，我們看到該模型的性能與僅支持英語的模型相近。儘管訓練數據僅為英語，但內部對私有數據的測試顯示，該模型在德語上的準確率遠高於其他可用模型。

微調模型	依賴項	評估集	搜索提升	GPU速度
amberoad/Multilingual-uncased-MSMARCO (本模型)		bing queries	+61% (0.29 vs 0.18)	~300 ms/query
nboost/pt-tinybert-msmarco		bing queries	+45% (0.26 vs 0.18)	~50ms/query
nboost/pt-bert-base-uncased-msmarco		bing queries	+62% (0.29 vs 0.18)	~300 ms/query
nboost/pt-bert-large-msmarco		bing queries	+77% (0.32 vs 0.18)	-
nboost/pt-biobert-base-msmarco		biomed	+66% (0.17 vs 0.10)	~300 ms/query

此表取自nboost並在第一行進行了擴展。

聯繫信息

Amberoad是一家專注於搜索和商業智能的公司。我們為您提供：

• 通過自然語言處理技術實現的高級公司內部搜索引擎
• 外部搜索引擎：查找競爭對手、客戶和供應商

立即聯繫我們以受益於我們的專業知識：

訓練和評估由Philipp Reissel和Igli Manaj完成。

Linkedin | 主頁 | 郵箱

📄 許可證

本項目採用Apache - 2.0許可證。