Langcache Crossencoder V1 Ms Marco MiniLM L12 V2

🚀 Redis意味キャッシュCrossEncoderモデル（Quoraの質問ペアで微調整）

このモデルはTransformerアーキテクチャに基づくCrossEncoderモデルで、Quoraの質問ペアデータセットで微調整されています。テキストペアのスコアを計算でき、文章ペアの分類タスクに適しており、意味の類似度や意味検索などのシナリオで重要な価値を持ちます。

🚀 クイックスタート

Sentence Transformersを使用した直接利用

まず、Sentence Transformersライブラリをインストールします。

pip install -U sentence-transformers

次に、このモデルをロードして推論を行うことができます。

from sentence_transformers import CrossEncoder

# 🤗 Hubからダウンロード
model = CrossEncoder("aditeyabaral-redis/langcache-crossencoder-v1-ms-marco-MiniLM-L12-v2")
# テキストペアのスコアを取得
pairs = [
    ['How can I get a list of my Gmail accounts?', 'How can I find all my old Gmail accounts?'],
    ['How can I stop Quora from modifying and editing other people’s questions on Quora?', 'Can I prevent a Quora user from editing my question on Quora?'],
    ['How much does it cost to design a logo in india?', 'How much does it cost to design a logo?'],
    ['What is screenedrenters.com?', 'What is allmyapps.com?'],
    ['What are the best colleges for an MBA in Australia?', 'What are the top MBA schools in Australia?'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# または、単一のテキストとの類似度に基づいて異なるテキストを並べ替える
ranks = model.rank(
    'How can I get a list of my Gmail accounts?',
    [
        'How can I find all my old Gmail accounts?',
        'Can I prevent a Quora user from editing my question on Quora?',
        'How much does it cost to design a logo?',
        'What is allmyapps.com?',
        'What are the top MBA schools in Australia?',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

✨ 主な機能

• 微調整モデル：cross-encoder/ms-marco-MiniLM-L12-v2モデルをベースに、Quoraの質問ペアデータセットで微調整されています。
• 多タスク対応：テキストのランキング、文章ペアの分類、意味の類似度計算など、様々なタスクに対応しています。
• 多様な評価指標：評価では、正解率、F1値、再現率などの様々な指標が使用されています。

📦 インストール

Sentence Transformersライブラリをインストールします。

pip install -U sentence-transformers

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのリソース

• ドキュメント：Sentence Transformersドキュメント
• ドキュメント：Cross Encoderドキュメント
• リポジトリ：GitHub上のSentence Transformers
• Hugging Face：Hugging Face上のCross Encoders

評価

指標

Cross Encoder分類

• データセット：quora-eval
• CrossEncoderClassificationEvaluatorを使用して評価

学習の詳細

学習データセット

Quora Question Pairs LangCache Train Set

• データセット：Quora Question Pairs LangCache Train Set
• サイズ：363,861個の学習サンプル
• 列：sentence1、sentence2、label
• 最初の1000個のサンプルに基づく近似統計情報：

  	sentence1	sentence2	label
  タイプ	文字列	文字列	整数
  詳細	最小：15文字 平均：60.22文字 最大：229文字	最小：14文字 平均：60.0文字 最大：274文字	0：約63.50% 1：約36.50%

• サンプル：

  sentence1	sentence2	label
  Why do people believe in God and how can they say he/she exists?	Why do we kill each other in the name of God?	0
  What are the chances of a bee sting when a bee buzzes around you?	How can I tell if my bees are agitated/likely to sting?	0
  If a man from Syro Malankara church marries a Syro-Malabar girl, can they join a Syro-Malabar parish?	Is Malabar Hills of Mumbai anyhow related to Malabar of Kerala?	0

• 損失関数：BinaryCrossEntropyLoss、パラメータは以下の通り：

{
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": null
}

評価データセット

Quora Question Pairs LangCache Validation Set

• データセット：Quora Question Pairs LangCache Validation Set
• サイズ：40,429個の評価サンプル
• 列：sentence1、sentence2、label
• 最初の1000個のサンプルに基づく近似統計情報：

  	sentence1	sentence2	label
  タイプ	文字列	文字列	整数
  詳細	最小：13文字 平均：59.91文字 最大：266文字	最小：13文字 平均：59.51文字 最大：293文字	0：約63.80% 1：約36.20%

• サンプル：

  sentence1	sentence2	label
  How can I get a list of my Gmail accounts?	How can I find all my old Gmail accounts?	1
  How can I stop Quora from modifying and editing other people’s questions on Quora?	Can I prevent a Quora user from editing my question on Quora?	1
  How much does it cost to design a logo in india?	How much does it cost to design a logo?	0

• 損失関数：BinaryCrossEntropyLoss、パラメータは以下の通り：

{
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": null
}

学習のハイパーパラメータ

デフォルトではないハイパーパラメータ

• eval_strategy：steps
• per_device_train_batch_size：64
• per_device_eval_batch_size：64
• learning_rate：0.0002
• num_train_epochs：15
• load_best_model_at_end：True
• push_to_hub：True
• hub_model_id：aditeyabaral-redis/langcache-crossencoder-v1-ms-marco-MiniLM-L12-v2

すべてのハイパーパラメータ

学習ログ

📄 ライセンス

このモデルはapache-2.0ライセンスの下で提供されています。