Msmarco MiniLM L6 En De V1

🚀 MS MARCO用クロスエンコーダ - EN-DE

このモデルは、EN-DEのクロス言語クロスエンコーダで、パッセージの再ランキングに使用できます。MS Marco Passage Rankingタスクで学習されました。

このモデルは情報検索に使用できます。詳細はSBERT.net Retrieve & Re-rankを参照してください。

学習コードはこのリポジトリにあり、train_script.pyを参照してください。

🚀 クイックスタート

このクロス言語クロスエンコーダモデルは、パッセージの再ランキングに使用でき、MS Marco Passage Rankingタスクで学習されています。また、情報検索にも利用可能です。

✨ 主な機能

• クロス言語のパッセージ再ランキングが可能。
• 情報検索に利用できる。
• 学習コードがリポジトリに公開されている。

📦 インストール

このモデルを使用するには、SentenceTransformersまたはtransformersライブラリをインストールする必要があります。

pip install sentence-transformers
pip install transformers

💻 使用例

基本的な使用法

SentenceTransformersを使用する場合

from sentence_transformers import CrossEncoder

model = CrossEncoder('model_name', max_length=512)

query = 'How many people live in Berlin?'
docs = ['Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers.', 'New York City is famous for the Metropolitan Museum of Art.']
pairs = [(query, doc) for doc in docs]
scores = model.predict(pairs)

Transformersを使用する場合

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained('model_name')
tokenizer = AutoTokenizer.from_pretrained('model_name')

features = tokenizer(['How many people live in Berlin?', 'How many people live in Berlin?'], ['Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers.', 'New York City is famous for the Metropolitan Museum of Art.'],  padding=True, truncation=True, return_tensors="pt")

model.eval()
with torch.no_grad():
    scores = model(**features).logits
    print(scores)

📚 ドキュメント

パフォーマンス

このモデルのパフォーマンスは、3つのデータセットで評価されています。

注: 秒あたりのドキュメント数は、V100 GPUで1秒間に再ランキングできる（クエリ、ドキュメント）ペアの数を示しています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で公開されています。