Cocodr Base Msmarco

🚀 COCO - DR模型

本模型首先在BEIR語料庫上進行預訓練，然後按照論文《COCO - DR: Combating Distribution Shifts in Zero - Shot Dense Retrieval with Contrastive and Distributionally Robust Learning》中描述的方法在MS MARCO數據集上進行微調。相關的GitHub倉庫可在此處獲取。該模型以BERT - base為骨幹進行訓練，擁有1.1億個超參數。詳情請參閱論文https://arxiv.org/abs/2210.15212。

🚀 快速開始

✨ 主要特性

• 基於BEIR語料庫預訓練，MS MARCO數據集微調。
• 以BERT - base為骨幹，具備1.1億個超參數。

📦 安裝指南

此部分原文檔未提及具體安裝步驟，跳過。

💻 使用示例

基礎用法

可以通過HuggingFace的transformers庫加載預訓練模型：

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("OpenMatch/cocodr-base-msmarco") 
tokenizer = AutoTokenizer.from_pretrained("OpenMatch/cocodr-base-msmarco") 

高級用法

獲取不同句子的嵌入表示：

sentences = [
    "Where was Marie Curie born?",
    "Maria Sklodowska, later known as Marie Curie, was born on November 7, 1867.",
    "Born in Paris on 15 May 1859, Pierre Curie was the son of Eugène Curie, a doctor of French Catholic origin from Alsace."
]

inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors="pt")
embeddings = model(**inputs, output_hidden_states=True, return_dict=True).hidden_states[-1][:, :1].squeeze(1) # the embedding of the [CLS] token after the final layer

通過嵌入表示之間的點積獲取不同句子之間的相似度得分：

score01 = embeddings[0] @ embeddings[1] # 216.9792
score02 = embeddings[0] @ embeddings[2] # 216.6684

📚 詳細文檔

本模型以BERT - base作為骨幹網絡進行訓練，擁有1.1億個超參數。具體細節可查看論文https://arxiv.org/abs/2210.15212。

📄 許可證

本項目採用MIT許可證。