Contriever Msmarco

🚀 コントリーバー微調整モデル

このモデルは、Towards Unsupervised Dense Information Retrieval with Contrastive Learningで説明されているアプローチに従って、事前学習済みのコントリーバーモデル（https://huggingface.co/facebook/contriever）を微調整したバージョンです。関連するGitHubリポジトリは、https://github.com/facebookresearch/contriever で入手できます。

🚀 クイックスタート

このモデルは、特徴抽出に使用できます。以下に、HuggingFace Transformersを使用した使い方を説明します。

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained('facebook/contriever-msmarco')
model = AutoModel.from_pretrained('facebook/contriever-msmarco')

sentences = [
    "Where was Marie Curie born?",
    "Maria Sklodowska, later known as Marie Curie, was born on November 7, 1867.",
    "Born in Paris on 15 May 1859, Pierre Curie was the son of Eugène Curie, a doctor of French Catholic origin from Alsace."
]

# Apply tokenizer
inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# Compute token embeddings
outputs = model(**inputs)

# Mean pooling
def mean_pooling(token_embeddings, mask):
    token_embeddings = token_embeddings.masked_fill(~mask[..., None].bool(), 0.)
    sentence_embeddings = token_embeddings.sum(dim=1) / mask.sum(dim=1)[..., None]
    return sentence_embeddings
embeddings = mean_pooling(outputs[0], inputs['attention_mask'])

HuggingFace Transformersで直接利用可能なこのモデルを使用するには、文章埋め込みを取得するために平均プーリング操作を追加する必要があります。上記のコードでは、文章の埋め込みを計算するために平均プーリングを行っています。