Langcache Crossencoder V1 Ms Marco MiniLM L6 V2

🚀 Redis意味キャッシュCrossEncoderモデル（Quoraの質問ペアで微調整）

このモデルはCross Encoderに基づいており、Quoraの質問ペアLangCache訓練データセットでcross-encoder/ms-marco-MiniLM-L6-v2を微調整したものです。このモデルは、テキストペアのスコアを計算し、文章ペアの分類タスクに使用できます。

✨ 主な機能

• Cross Encoderアーキテクチャに基づいており、テキストペアの分類タスクを効果的に処理できます。
• Quoraの質問ペアデータセットで微調整されているため、意味の類似性判断や意味検索などのシナリオに適しています。
• 正解率、F1値などの複数の評価指標をサポートしており、モデルの性能を全面的に評価できます。

📦 インストール

まず、Sentence Transformersライブラリをインストールする必要があります。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

Sentence Transformersライブラリをインストールした後、このモデルをロードして推論を行うことができます。

from sentence_transformers import CrossEncoder

# 🤗 Hubからモデルをダウンロード
model = CrossEncoder("aditeyabaral-redis/langcache-crossencoder-v1-ms-marco-MiniLM-L6-v2")
# テキストペアのスコアを取得
pairs = [
    ['How can I get a list of my Gmail accounts?', 'How can I find all my old Gmail accounts?'],
    ['How can I stop Quora from modifying and editing other people’s questions on Quora?', 'Can I prevent a Quora user from editing my question on Quora?'],
    ['How much does it cost to design a logo in india?', 'How much does it cost to design a logo?'],
    ['What is screenedrenters.com?', 'What is allmyapps.com?'],
    ['What are the best colleges for an MBA in Australia?', 'What are the top MBA schools in Australia?'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

高度な使用法

単一のテキストとの類似度に基づいて、異なるテキストを並べ替えることもできます。

# 異なるテキストを並べ替える
ranks = model.rank(
    'How can I get a list of my Gmail accounts?',
    [
        'How can I find all my old Gmail accounts?',
        'Can I prevent a Quora user from editing my question on Quora?',
        'How much does it cost to design a logo?',
        'What is allmyapps.com?',
        'What are the top MBA schools in Australia?',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

📚 ドキュメント

モデル詳細

モデル情報

モデルの出所

• ドキュメント：Sentence Transformersドキュメント
• ドキュメント：Cross Encoderドキュメント
• リポジトリ：GitHub上のSentence Transformers
• Hugging Face：Hugging Face上のCross Encoders

評価指標

クロスエンコーダ分類

• データセット：quora-eval
• 評価方法：CrossEncoderClassificationEvaluatorを使用して評価

訓練詳細

訓練データセット

Quora Question Pairs LangCache Train Set

• データセット：Quora Question Pairs LangCache Train Set
• 規模：363,861個の訓練サンプル
• 列情報：sentence1、sentence2、label
• 最初の1000個のサンプルに基づく近似統計情報：

  	文章1	文章2	ラベル
  タイプ	文字列	文字列	整数
  詳細	最小長: 15文字 平均長: 60.22文字 最大長: 229文字	最小長: 14文字 平均長: 60.0文字 最大長: 274文字	0: ~63.50% 1: ~36.50%

• サンプル例：

  文章1	文章2	ラベル
  Why do people believe in God and how can they say he/she exists?	Why do we kill each other in the name of God?	0
  What are the chances of a bee sting when a bee buzzes around you?	How can I tell if my bees are agitated/likely to sting?	0
  If a man from Syro Malankara church marries a Syro-Malabar girl, can they join a Syro-Malabar parish?	Is Malabar Hills of Mumbai anyhow related to Malabar of Kerala?	0

• 損失関数：BinaryCrossEntropyLoss、パラメータは以下の通り。

{
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": null
}

評価データセット

Quora Question Pairs LangCache Validation Set

• データセット：Quora Question Pairs LangCache Validation Set
• 規模：40,429個の評価サンプル
• 列情報：sentence1、sentence2、label
• 最初の1000個のサンプルに基づく近似統計情報：

  	文章1	文章2	ラベル
  タイプ	文字列	文字列	整数
  詳細	最小長: 13文字 平均長: 59.91文字 最大長: 266文字	最小長: 13文字 平均長: 59.51文字 最大長: 293文字	0: ~63.80% 1: ~36.20%

• サンプル例：

  文章1	文章2	ラベル
  How can I get a list of my Gmail accounts?	How can I find all my old Gmail accounts?	1
  How can I stop Quora from modifying and editing other people’s questions on Quora?	Can I prevent a Quora user from editing my question on Quora?	1
  How much does it cost to design a logo in india?	How much does it cost to design a logo?	0

• 損失関数：BinaryCrossEntropyLoss、パラメータは以下の通り。

{
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": null
}

訓練ハイパーパラメータ

非デフォルトのハイパーパラメータ

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• learning_rate: 0.0002
• num_train_epochs: 15
• load_best_model_at_end: True
• push_to_hub: True
• hub_model_id: aditeyabaral-redis/langcache-crossencoder-v1-ms-marco-MiniLM-L6-v2

すべてのハイパーパラメータ

訓練ログ

📄 ライセンス

このモデルはApache-2.0ライセンスで提供されています。