Ms Marco TinyBERT L2 V2

🚀 MS Marco用クロスエンコーダ

このモデルは、MS Marco Passage Rankingタスクで学習されました。

このモデルは情報検索に使用できます。クエリを与えると、すべての可能なパッセージ（例えば、ElasticSearchで検索されたもの）とともにクエリをエンコードし、パッセージを降順に並べ替えます。詳細については、SBERT.net Retrieve & Re-rankを参照してください。学習コードはこちらにあります：SBERT.net Training MS Marco

🚀 クイックスタート

📦 モデル情報

💻 使用例

基本的な使用法

Transformersを使用した場合

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained('cross-encoder/ms-marco-TinyBERT-L2-v2')
tokenizer = AutoTokenizer.from_pretrained('cross-encoder/ms-marco-TinyBERT-L2-v2')

features = tokenizer(['How many people live in Berlin?', 'How many people live in Berlin?'], ['Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers.', 'New York City is famous for the Metropolitan Museum of Art.'],  padding=True, truncation=True, return_tensors="pt")

model.eval()
with torch.no_grad():
    scores = model(**features).logits
    print(scores)

SentenceTransformersを使用した場合

from sentence_transformers import CrossEncoder

model = CrossEncoder('cross-encoder/ms-marco-TinyBERT-L2-v2', max_length=512)
scores = model.predict([('Query', 'Paragraph1'), ('Query', 'Paragraph2') , ('Query', 'Paragraph3')])

📚 性能

以下の表では、さまざまな事前学習済みのクロスエンコーダと、TREC Deep Learning 2019およびMS Marco Passage Rerankingデータセットでのそれらの性能を提供します。

注意: 実行時間はV100 GPUで計算されました。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。