Ms Marco TinyBERT L4

🚀 MS Marco用クロスエンコーダ

このモデルは、MS Marco段落ランキングタスクで訓練されています。

このモデルは情報検索に使用できます。具体的には、クエリが与えられると、そのクエリとすべての可能性のある段落（例えばElasticSearchで検索された段落）をエンコードし、段落を降順に並べ替えます。詳細については、SBERT.netの検索と再ランキングを参照してください。訓練コードはこちらで入手できます：SBERT.netのMS Marco訓練。

🚀 クイックスタート

✨ 主な機能

• 特定のMS Marcoタスクを基に訓練されており、情報検索シーンに適しています。
• transformersとSentenceTransformersライブラリと組み合わせて使用でき、使い方が柔軟です。

📦 インストール

ドキュメントに具体的なインストール手順は記載されていません。transformersとSentenceTransformersライブラリの公式インストールガイドを参照してインストールしてください。

💻 使用例

基本的な使用法

transformersライブラリを使用してモデルを呼び出す例：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained('cross-encoder/ms-marco-TinyBERT-L4')
tokenizer = AutoTokenizer.from_pretrained('cross-encoder/ms-marco-TinyBERT-L4')

features = tokenizer(['How many people live in Berlin?', 'How many people live in Berlin?'], ['Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers.', 'New York City is famous for the Metropolitan Museum of Art.'],  padding=True, truncation=True, return_tensors="pt")

model.eval()
with torch.no_grad():
    scores = model(**features).logits
    print(scores)

高度な使用法

SentenceTransformersライブラリをインストールすると、より簡単に使用できます：

from sentence_transformers import CrossEncoder

model = CrossEncoder('cross-encoder/ms-marco-TinyBERT-L4', max_length=512)
scores = model.predict([('Query', 'Paragraph1'), ('Query', 'Paragraph2') , ('Query', 'Paragraph3')])

📚 ドキュメント

🔧 技術詳細

このモデルはMS Marco段落ランキングタスクで訓練され、情報検索に使用できます。クエリと段落をエンコードし、段落を降順に並べ替えることで、効果的な情報検索を実現します。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。

📦 性能表現

以下の表では、様々な事前訓練されたクロスエンコーダと、それらがTRECディープラーニング2019およびMS Marco段落再ランキングデータセットでの性能表現を提供しています。

注意：実行時間はV100 GPUで計算されています。