Cocodr Base Msmarco

🚀 COCO - DR模型

本模型首先在BEIR语料库上进行预训练，然后按照论文《COCO - DR: Combating Distribution Shifts in Zero - Shot Dense Retrieval with Contrastive and Distributionally Robust Learning》中描述的方法在MS MARCO数据集上进行微调。相关的GitHub仓库可在此处获取。该模型以BERT - base为骨干进行训练，拥有1.1亿个超参数。详情请参阅论文https://arxiv.org/abs/2210.15212。

🚀 快速开始

✨ 主要特性

• 基于BEIR语料库预训练，MS MARCO数据集微调。
• 以BERT - base为骨干，具备1.1亿个超参数。

📦 安装指南

此部分原文档未提及具体安装步骤，跳过。

💻 使用示例

基础用法

可以通过HuggingFace的transformers库加载预训练模型：

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("OpenMatch/cocodr-base-msmarco") 
tokenizer = AutoTokenizer.from_pretrained("OpenMatch/cocodr-base-msmarco") 

高级用法

获取不同句子的嵌入表示：

sentences = [
    "Where was Marie Curie born?",
    "Maria Sklodowska, later known as Marie Curie, was born on November 7, 1867.",
    "Born in Paris on 15 May 1859, Pierre Curie was the son of Eugène Curie, a doctor of French Catholic origin from Alsace."
]

inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors="pt")
embeddings = model(**inputs, output_hidden_states=True, return_dict=True).hidden_states[-1][:, :1].squeeze(1) # the embedding of the [CLS] token after the final layer

通过嵌入表示之间的点积获取不同句子之间的相似度得分：

score01 = embeddings[0] @ embeddings[1] # 216.9792
score02 = embeddings[0] @ embeddings[2] # 216.6684

📚 详细文档

本模型以BERT - base作为骨干网络进行训练，拥有1.1亿个超参数。具体细节可查看论文https://arxiv.org/abs/2210.15212。

📄 许可证

本项目采用MIT许可证。