language:

• en license: apache-2.0 tags:
• sentence-transformers
• cross-encoder
• generated_from_trainer
• dataset_size:578402
• loss:BinaryCrossEntropyLoss base_model: answerdotai/ModernBERT-base pipeline_tag: text-ranking library_name: sentence-transformers metrics:
• map
• mrr@10
• ndcg@10 model-index:
• name: GooAQで学習したModernBERT-base results:
  • task: type: cross-encoder-reranking name: クロスエンコーダー再ランキング dataset: name: gooaq dev type: gooaq-dev metrics:
    • type: map value: 0.7308 name: Map
    • type: mrr@10 value: 0.7292 name: Mrr@10
    • type: ndcg@10 value: 0.7713 name: Ndcg@10
  • task: type: cross-encoder-reranking name: クロスエンコーダー再ランキング dataset: name: NanoMSMARCO R100 type: NanoMSMARCO_R100 metrics:
    • type: map value: 0.4579 name: Map
    • type: mrr@10 value: 0.4479 name: Mrr@10
    • type: ndcg@10 value: 0.5275 name: Ndcg@10
  • task: type: cross-encoder-reranking name: クロスエンコーダー再ランキング dataset: name: NanoNFCorpus R100 type: NanoNFCorpus_R100 metrics:
    • type: map value: 0.3414 name: Map
    • type: mrr@10 value: 0.534 name: Mrr@10
    • type: ndcg@10 value: 0.3821 name: Ndcg@10
  • task: type: cross-encoder-reranking name: クロスエンコーダー再ランキング dataset: name: NanoNQ R100 type: NanoNQ_R100 metrics:
    • type: map value: 0.3932 name: Map
    • type: mrr@10 value: 0.3918 name: Mrr@10
    • type: ndcg@10 value: 0.463 name: Ndcg@10
  • task: type: cross-encoder-nano-beir name: クロスエンコーダーナノBEIR dataset: name: NanoBEIR R100 平均 type: NanoBEIR_R100_mean metrics:
    • type: map value: 0.3975 name: Map
    • type: mrr@10 value: 0.4579 name: Mrr@10
    • type: ndcg@10 value: 0.4575 name: Ndcg@10

GooAQで学習したModernBERT-base

これはanswerdotai/ModernBERT-baseからsentence-transformersライブラリを使用してファインチューニングされたクロスエンコーダーモデルです。テキストペアのスコアを計算し、テキストの再ランキングや意味検索に使用できます。

トレーニングスクリプトについてはtraining_gooaq_bce.pyを参照してください。このスクリプトはクロスエンコーダー > トレーニング概要ドキュメントとトレーニングとファインチューニング リランカーモデル with Sentence Transformers v4ブログ投稿でも説明されています。

モデル詳細

モデル説明

• モデルタイプ: クロスエンコーダー
• ベースモデル: answerdotai/ModernBERT-base
• 最大シーケンス長: 8192トークン
• 出力ラベル数: 1ラベル

• 言語: en
• ライセンス: apache-2.0

モデルソース

• ドキュメント: Sentence Transformers ドキュメント
• ドキュメント: クロスエンコーダー ドキュメント
• リポジトリ: GitHubのSentence Transformers
• Hugging Face: Hugging Faceのクロスエンコーダー

使用方法

直接使用（Sentence Transformers）

まずSentence Transformersライブラリをインストールします:

pip install -U sentence-transformers

その後、このモデルをロードして推論を実行できます。

from sentence_transformers import CrossEncoder

# 🤗 Hubからダウンロード
model = CrossEncoder("tomaarsen/reranker-ModernBERT-base-gooaq-bce")
# テキストペアのスコアを取得
pairs = [
    ['なぜライチップはこんなにおいしいの？', "それでさらに美味しく感じるんです！ライチップが美味しいのは目立っているからで、袋の中で一番塩気が強いものです。ライパンが元々素晴らしいからではありません。...ライチップの袋を買えばいいだけです。"],
    ['なぜライチップはこんなにおいしいの？', 'ペットの使用を制限するようなライ麦に関連する実質的な技術的、栄養的または性能上の問題はありません。ライ麦は人間の食品や飲料においてかなり一般的な成分です。最も一般的なのはクラッカーやパンです。'],
    ['なぜライチップはこんなにおいしいの？', 'ライ麦粉だけで作られたパンはドイツで作られ、プンパーニッケルと呼ばれます。ライ麦は胚乳に高いレベルの繊維を持っているという点で穀物の中でユニークです。そのため、ライ麦製品の血糖指数（GI）は一般に小麦や他のほとんどの穀物から作られた製品よりも低くなります。'],
    ['なぜライチップはこんなにおいしいの？', 'KFCチップス - 味付けチップスの塩ミックスと実際のチップスには動物性製品は含まれていません。チップスと調味料のサプライヤーは、これらがビーガンに適していることを確認しています。'],
    ['なぜライチップはこんなにおいしいの？', 'アメリカ臨床栄養学雑誌の研究によると、ライ麦を食べると小麦と比較して血糖値のコントロールが改善されます。ライ麦パンは血圧をコントロールし心臓の健康を最適化するマグネシウムが豊富です。その高い可溶性繊維レベルはコレステロールを減らすこともできます。'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# または、単一のテキストに基づいて異なるテキストをランク付け
ranks = model.rank(
    'なぜライチップはこんなにおいしいの？',
    [
        "それでさらに美味しく感じるんです！ライチップが美味しいのは目立っているからで、袋の中で一番塩気が強いものです。ライパンが元々素晴らしいからではありません。...ライチップの袋を買えばいいだけです。",
        'ペットの使用を制限するようなライ麦に関連する実質的な技術的、栄養的または性能上の問題はありません。ライ麦は人間の食品や飲料においてかなり一般的な成分です。最も一般的なのはクラッカーやパンです。',
        'ライ麦粉だけで作られたパンはドイツで作られ、プンパーニッケルと呼ばれます。ライ麦は胚乳に高いレベルの繊維を持っているという点で穀物の中でユニークです。そのため、ライ麦製品の血糖指数（GI）は一般に小麦や他のほとんどの穀物から作られた製品よりも低くなります。',
        'KFCチップス - 味付けチップスの塩ミックスと実際のチップスには動物性製品は含まれていません。チップスと調味料のサプライヤーは、これらがビーガンに適していることを確認しています。',
        'アメリカ臨床栄養学雑誌の研究によると、ライ麦を食べると小麦と比較して血糖値のコントロールが改善されます。ライ麦パンは血圧をコントロールし心臓の健康を最適化するマグネシウムが豊富です。その高い可溶性繊維レベルはコレステロールを減らすこともできます。',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

評価

メトリクス

クロスエンコーダー再ランキング

• データセット: gooaq-dev
• 評価パラメータ:

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

クロスエンコーダー再ランキング

• データセット: gooaq-dev
• 評価パラメータ:

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

クロスエンコーダー再ランキング

• データセット: NanoMSMARCO_R100, NanoNFCorpus_R100, NanoNQ_R100
• 評価パラメータ:

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

クロスエンコーダーナノBEIR

• データセット: NanoBEIR_R100_mean
• 評価パラメータ:

  {
      "dataset_names": [
          "msmarco",
          "nfcorpus",
          "nq"
      ],
      "rerank_k": 100,
      "at_k": 10,
      "always_rerank_positives": true
  }
  

トレーニング詳細

トレーニングデータセット

無名データセット

• サイズ: 578,402トレーニングサンプル
• 列: question, answer, label
• 最初の1000サンプルに基づく近似統計:

  	question	answer	label
  type	string	string	int
  details	最小: 19文字 平均: 45.14文字 最大: 85文字	最小: 65文字 平均: 254.8文字 最大: 379文字	0: ~82.90% 1: ~17.10%

• サンプル:

  question	answer	label
  なぜライチップはこんなにおいしいの？	それでさらに美味しく感じるんです！ライチップが美味しいのは目立っているからで、袋の中で一番塩気が強いものです。ライパンが元々素晴らしいからではありません。...ライチップの袋を買えばいいだけです。	1
  なぜライチップはこんなにおいしいの？	ペットの使用を制限するようなライ麦に関連する実質的な技術的、栄養的または性能上の問題はありません。ライ麦は人間の食品や飲料においてかなり一般的な成分です。最も一般的なのはクラッカーやパンです。	0
  なぜライチップはこんなにおいしいの？	ライ麦粉だけで作られたパンはドイツで作られ、プンパーニッケルと呼ばれます。ライ麦は胚乳に高いレベルの繊維を持っているという点で穀物の中でユニークです。そのため、ライ麦製品の血糖指数（GI）は一般に小麦や他のほとんどの穀物から作られた製品よりも低くなります。	0

• 損失関数: BinaryCrossEntropyLoss パラメータ:

  {
      "activation_fct": "torch.nn.modules.linear.Identity",
      "pos_weight": 5
  }
  

トレーニングハイパーパラメータ

非デフォルトハイパーパラメータ

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• seed: 12
• bf16: True
• dataloader_num_workers: 4
• load_best_model_at_end: True

フレームワークバージョン

• Python: 3.11.10
• Sentence Transformers: 3.5.0.dev0
• Transformers: 4.49.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.5.2
• Datasets: 2.21.0
• Tokenizers: 0.21.0

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}