Mmarco Mminilmv2 L12 H384 V1

🚀 多語言MS Marco交叉編碼器

本模型用於解決多語言信息檢索中的排序問題，通過在多語言數據集上訓練，能夠對不同語言的查詢和段落進行相關性打分，在多語言信息檢索場景中具有重要價值。

🚀 快速開始

本模型基於 MMARCO 數據集進行訓練。這是一個使用谷歌翻譯對MS MARCO進行機器翻譯後的版本，被翻譯成了14種語言。在實驗中發現，該模型在其他語言上也表現良好。

基礎模型採用了 多語言MiniLMv2 模型。

該模型可用於信息檢索：給定一個查詢，將查詢與所有可能的段落（例如通過ElasticSearch檢索得到的段落）進行編碼，然後按降序對段落進行排序。更多詳細信息請參閱 SBERT.net 檢索與重排序。訓練代碼可在 SBERT.net 訓練MS Marco 中找到。

💻 使用示例

基礎用法（使用SentenceTransformers）

當你安裝了 SentenceTransformers 後，使用起來會很方便。你可以像這樣使用預訓練模型：

from sentence_transformers import CrossEncoder
model = CrossEncoder('model_name')
scores = model.predict([('Query', 'Paragraph1'), ('Query', 'Paragraph2') , ('Query', 'Paragraph3')])

高級用法（使用Transformers）

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained('model_name')
tokenizer = AutoTokenizer.from_pretrained('model_name')

features = tokenizer(['How many people live in Berlin?', 'How many people live in Berlin?'], ['Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers.', 'New York City is famous for the Metropolitan Museum of Art.'],  padding=True, truncation=True, return_tensors="pt")

model.eval()
with torch.no_grad():
    scores = model(**features).logits
    print(scores)

📄 許可證

本項目採用Apache-2.0許可證。

📋 模型信息