Reranker Msmarco ModernBERT Base Lambdaloss

🚀 answerdotai/ModernBERT-baseベースのクロスエンコーダ

このモデルはanswerdotai/ModernBERT-baseをベースにしたクロスエンコーダで、msmarcoデータセットを使用してsentence-transformersライブラリで微調整されています。テキストペアのスコアを計算することができ、テキストの再ランキングや意味検索に利用できます。

🚀 クイックスタート

Sentence Transformersを使った直接利用

まず、Sentence Transformersライブラリをインストールします。

pip install -U sentence-transformers

次に、このモデルをロードして推論を行うことができます。

from sentence_transformers import CrossEncoder

# 🤗 Hubからモデルをダウンロード
model = CrossEncoder("tomaarsen/reranker-msmarco-ModernBERT-base-lambdaloss")
# テキストペアのスコアを取得
pairs = [
    ['How many calories in an egg', 'There are on average between 55 and 80 calories in an egg depending on its size.'],
    ['How many calories in an egg', 'Egg whites are very low in calories, have no fat, no cholesterol, and are loaded with protein.'],
    ['How many calories in an egg', 'Most of the calories in an egg come from the yellow yolk in the center.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (3,)

# または、単一のテキストとの類似度に基づいて異なるテキストを並べ替える
ranks = model.rank(
    'How many calories in an egg',
    [
        'There are on average between 55 and 80 calories in an egg depending on its size.',
        'Egg whites are very low in calories, have no fat, no cholesterol, and are loaded with protein.',
        'Most of the calories in an egg come from the yellow yolk in the center.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

✨ 主な機能

• answerdotai/ModernBERT-baseモデルをベースに微調整されており、優れたテキスト処理能力を持っています。
• テキストペアのスコアを計算でき、テキストの再ランキングや意味検索に利用できます。
• 最大8192トークンの入力シーケンスをサポートしています。

📦 インストール

Sentence Transformersライブラリをインストールします。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import CrossEncoder

# 🤗 Hubからモデルをダウンロード
model = CrossEncoder("tomaarsen/reranker-msmarco-ModernBERT-base-lambdaloss")
# テキストペアのスコアを取得
pairs = [
    ['How many calories in an egg', 'There are on average between 55 and 80 calories in an egg depending on its size.'],
    ['How many calories in an egg', 'Egg whites are very low in calories, have no fat, no cholesterol, and are loaded with protein.'],
    ['How many calories in an egg', 'Most of the calories in an egg come from the yellow yolk in the center.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (3,)

高度な使用法

from sentence_transformers import CrossEncoder

# 🤗 Hubからモデルをダウンロード
model = CrossEncoder("tomaarsen/reranker-msmarco-ModernBERT-base-lambdaloss")
# 単一のテキストとの類似度に基づいて異なるテキストを並べ替える
ranks = model.rank(
    'How many calories in an egg',
    [
        'There are on average between 55 and 80 calories in an egg depending on its size.',
        'Egg whites are very low in calories, have no fat, no cholesterol, and are loaded with protein.',
        'Most of the calories in an egg come from the yellow yolk in the center.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• ドキュメント：Sentence Transformersドキュメント
• ドキュメント：クロスエンコーダドキュメント
• リポジトリ：GitHub上のSentence Transformers
• Hugging Face：Hugging Face上のクロスエンコーダ

評価

指標

クロスエンコーダの再ランキング

• データセット：NanoMSMARCO_R100、NanoNFCorpus_R100、NanoNQ_R100
• CrossEncoderRerankingEvaluatorを使用して評価し、パラメータは以下の通りです。

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

クロスエンコーダのNano BEIR

• データセット：NanoBEIR_R100_mean
• CrossEncoderNanoBEIREvaluatorを使用して評価し、パラメータは以下の通りです。

  {
      "dataset_names": [
          "msmarco",
          "nfcorpus",
          "nq"
      ],
      "rerank_k": 100,
      "at_k": 10,
      "always_rerank_positives": true
  }
  

学習の詳細

学習データセット

• データセット：msmarco（バージョン：a0537b6）
• サイズ：399,282個の学習サンプル
• 列：query_id、doc_ids、labels

評価データセット

• データセット：msmarco（バージョン：a0537b6）
• サイズ：1,000個の評価サンプル
• 列：query_id、doc_ids、labels

学習ハイパーパラメータ

• デフォルトではないハイパーパラメータ：
  • eval_strategy: steps
  • num_train_epochs: 1
  • warmup_ratio: 0.1
  • seed: 12
  • bf16: True
  • load_best_model_at_end: True

フレームワークのバージョン

• Python: 3.11.10
• Sentence Transformers: 3.5.0.dev0
• Transformers: 4.49.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.0
• Datasets: 2.21.0
• Tokenizers: 0.21.0

🔧 技術詳細

損失関数

LambdaLoss損失関数を使用し、パラメータは以下の通りです。

{
    "weighting_scheme": "sentence_transformers.cross_encoder.losses.LambdaLoss.NDCGLoss2PPScheme",
    "k": null,
    "sigma": 1.0,
    "eps": 1e-10,
    "reduction_log": "binary",
    "activation_fct": "torch.nn.modules.linear.Identity",
    "mini_batch_size": 8
}

学習ログ

📄 ライセンス

このモデルはapache-2.0ライセンスを使用しています。

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

LambdaLoss

@inproceedings{wang2018lambdaloss,
  title={The lambdaloss framework for ranking metric optimization},
  author={Wang, Xuanhui and Li, Cheng and Golbandi, Nadav and Bendersky, Michael and Najork, Marc},
  booktitle={Proceedings of the 27th ACM international conference on information and knowledge management},
  pages={1313--1322},
  year={2018}
}