Msmarco MiniLM L12 En De V1

🚀 用於MS MARCO的跨編碼器 - 英德雙語

這是一個用於英德雙語的跨語言跨編碼器模型，可用於段落重排序。它在MS Marco段落排序任務上進行了訓練。

該模型可用於信息檢索：請參閱SBERT.net檢索與重排序。

訓練代碼可在本倉庫中找到，詳見train_script.py。

🚀 快速開始

✨ 主要特性

• 跨語言能力：支持英德雙語的段落重排序。
• 適用於信息檢索：可用於信息檢索場景中的段落重排序。
• 代碼可用：提供訓練代碼，方便開發者進行進一步的研究和開發。

📦 安裝指南

文檔未提及安裝步驟，跳過此章節。

💻 使用示例

基礎用法

當你安裝了SentenceTransformers後，你可以像這樣使用該模型：

from sentence_transformers import CrossEncoder
model = CrossEncoder('model_name', max_length=512)
query = 'How many people live in Berlin?'
docs = ['Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers.', 'New York City is famous for the Metropolitan Museum of Art.']
pairs = [(query, doc) for doc in docs]
scores = model.predict(pairs)

高級用法

使用transformers庫，你可以像這樣使用該模型：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained('model_name')
tokenizer = AutoTokenizer.from_pretrained('model_name')

features = tokenizer(['How many people live in Berlin?', 'How many people live in Berlin?'], ['Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers.', 'New York City is famous for the Metropolitan Museum of Art.'],  padding=True, truncation=True, return_tensors="pt")

model.eval()
with torch.no_grad():
    scores = model(**features).logits
    print(scores)

📚 詳細文檔

性能評估

該模型的性能在三個數據集上進行了評估：

• TREC - DL19 EN - EN：原始的TREC 2019深度學習賽道：給定一個英文查詢和1000篇文檔（通過BM25詞法搜索檢索），根據文檔的相關性對其進行排序。我們計算NDCG@10。BM25的得分是45.46，一個完美的重排序器可以達到95.47分。
• TREC - DL19 DE - EN：TREC - DL19的英文查詢由一位德語母語人士翻譯成了德語。我們對德語查詢與原始TREC - DL19設置中的英文段落進行排序。我們計算NDCG@10。
• GermanDPR DE - DE：GermanDPR數據集提供了來自維基百科的德語查詢和德語段落。我們對德語維基百科的280萬段落進行了索引，並使用Elasticsearch的BM25詞法搜索為每個查詢檢索了前100個最相關的段落。我們計算MRR@10。BM25的得分是35.85，一個完美的重排序器可以達到76.27分。

我們還使用相同的評估方法檢查了雙編碼器的性能：使用查詢和段落嵌入的餘弦相似度對BM25詞法搜索檢索到的文檔進行重排序。雙編碼器也可用於端到端的語義搜索。

注意：每秒處理文檔對數表示在V100 GPU上每秒可以重排序的（查詢，文檔）對的數量。

📄 許可證

本項目採用Apache 2.0許可證。