Cocodr Base Msmarco

🚀 クイックスタート

このモデルは、まずBEIRコーパスで事前学習され、論文 COCO-DR: Combating Distribution Shifts in Zero-Shot Dense Retrieval with Contrastive and Distributionally Robust Learning で説明されているアプローチに従って、MS MARCOデータセットで微調整されています。関連するGitHubリポジトリはこちらにあります https://github.com/OpenMatch/COCO-DR 。

このモデルは、1億1000万のハイパーパラメータを持つBERT-baseをバックボーンとして学習されています。詳細は論文 https://arxiv.org/abs/2210.15212 を参照してください。

💻 使用例

基本的な使用法

# Pre-trained models can be loaded through the HuggingFace transformers library:
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("OpenMatch/cocodr-base-msmarco") 
tokenizer = AutoTokenizer.from_pretrained("OpenMatch/cocodr-base-msmarco") 

高度な使用法

# Then embeddings for different sentences can be obtained by doing the following:

sentences = [
    "Where was Marie Curie born?",
    "Maria Sklodowska, later known as Marie Curie, was born on November 7, 1867.",
    "Born in Paris on 15 May 1859, Pierre Curie was the son of Eugène Curie, a doctor of French Catholic origin from Alsace."
]

inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors="pt")
embeddings = model(**inputs, output_hidden_states=True, return_dict=True).hidden_states[-1][:, :1].squeeze(1) # the embedding of the [CLS] token after the final layer

# Then similarity scores between the different sentences are obtained with a dot product between the embeddings:

score01 = embeddings[0] @ embeddings[1] # 216.9792
score02 = embeddings[0] @ embeddings[2] # 216.6684

📄 ライセンス

このモデルはMITライセンスの下で提供されています。