Reranker Bert Tiny Gooaq Bce

🚀 GooAQ上で訓練されたBERT-tinyモデル

このモデルは、Cross Encoderに基づいており、sentence-transformersライブラリを使用してprajjwal1/bert-tinyから微調整されました。このモデルは、テキストペアに対してスコアを計算することができ、意味的なテキスト類似度、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどのタスクに使用できます。

このモデルは、train_script.pyを使用して訓練されました。

🚀 クイックスタート

このモデルは、Cross Encoderに基づく微調整モデルで、テキストペアのスコアを計算するために使用でき、意味的なテキスト類似度、意味検索などのさまざまなタスクに適しています。以下の手順に従って、このモデルを使用することができます。

✨ 主な機能

• クロスエンコーダモデル：Cross Encoderアーキテクチャに基づいており、テキストペアのスコアを効果的に計算することができます。
• 事前学習モデルからの微調整：prajjwal1/bert-tinyから微調整されており、事前学習モデルの利点を生かしています。
• 多タスク適用性：意味的なテキスト類似度、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどのさまざまなタスクに使用できます。

📦 インストール

まず、Sentence Transformersライブラリをインストールする必要があります。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

以下は、このモデルを使用してテキストペアのスコアを計算する例です。

from sentence_transformers import CrossEncoder

# 🤗 Hubからモデルをダウンロード
model = CrossEncoder("cross-encoder-testing/reranker-bert-tiny-gooaq-bce")
# テキストペアを定義
pairs = [
    ['are javascript developers in demand?', "JavaScript is the skill that is most in-demand for IT in 2020, according to a report from developer skills tester DevSkiller. The report, “Top IT Skills report 2020: Demand and Hiring Trends,” has JavaScript switching places with Java when compared to last year's report, with Java in third place this year, behind SQL."],
    ['are javascript developers in demand?', 'In one line difference between the two is: JavaScript is the programming language where as AngularJS is a framework based on JavaScript. ... It is also the basic for all java script based technologies like jquery, angular JS, bootstrap JS and so on. Angular JS is a framework written in javascript and uses MVC architecture.'],
    ['are javascript developers in demand?', 'Java applications are run in a virtual machine or web browser while JavaScript is run on a web browser. Java code is compiled whereas while JavaScript code is in text and in a web page. JavaScript is an OOP scripting language, whereas Java is an OOP programming language.'],
    ['are javascript developers in demand?', 'Things in the body tag are the things that should be displayed: the actual content. Javascript in the body is executed as it is read and as the page is rendered. Javascript in the head is interpreted before anything is rendered.'],
    ['are javascript developers in demand?', 'Web apps tend to be built using JavaScript, CSS and HTML5. Unlike mobile apps, there is no standard software development kit for building web apps. However, developers do have access to templates. Compared to mobile apps, web apps are usually quicker and easier to build — but they are much simpler in terms of features.'],
]
# スコアを予測
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# または、単一のテキストとの類似度に基づいて異なるテキストを並べ替える
ranks = model.rank(
    'are javascript developers in demand?',
    [
        "JavaScript is the skill that is most in-demand for IT in 2020, according to a report from developer skills tester DevSkiller. The report, “Top IT Skills report 2020: Demand and Hiring Trends,” has JavaScript switching places with Java when compared to last year's report, with Java in third place this year, behind SQL.",
        'In one line difference between the two is: JavaScript is the programming language where as AngularJS is a framework based on JavaScript. ... It is also the basic for all java script based technologies like jquery, angular JS, bootstrap JS and so on. Angular JS is a framework written in javascript and uses MVC architecture.',
        'Java applications are run in a virtual machine or web browser while JavaScript is run on a web browser. Java code is compiled whereas while JavaScript code is in text and in a web page. JavaScript is an OOP scripting language, whereas Java is an OOP programming language.',
        'Things in the body tag are the things that should be displayed: the actual content. Javascript in the body is executed as it is read and as the page is rendered. Javascript in the head is interpreted before anything is rendered.',
        'Web apps tend to be built using JavaScript, CSS and HTML5. Unlike mobile apps, there is no standard software development kit for building web apps. However, developers do have access to templates. Compared to mobile apps, web apps are usually quicker and easier to build — but they are much simpler in terms of features.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

📚 ドキュメント

モデル詳細

モデルリソース

• ドキュメント：Sentence Transformersドキュメント
• ドキュメント：Cross Encoderドキュメント
• リポジトリ：GitHub上のSentence Transformers
• Hugging Face：Hugging Face上のCross Encoders

評価指標

Cross Encoderの再ランキング

• データセット：gooaq-dev、NanoMSMARCO、NanoNFCorpus および NanoNQ
• CrossEncoderRerankingEvaluatorを使用して評価

Cross Encoder Nano BEIR

• データセット：NanoBEIR_R100_mean
• CrossEncoderNanoBEIREvaluatorを使用して評価

訓練詳細

訓練データセット

• 未命名データセット
  • サイズ：578,402個の訓練サンプル
  • 列：question、answer および label
  • 最初の1000個のサンプルに基づく近似統計情報：

    	質問	回答	ラベル
    タイプ	文字列	文字列	整数
    詳細	最小：21文字 平均：43.81文字 最大：96文字	最小：51文字 平均：252.46文字 最大：405文字	0：~82.90% 1：~17.10%

  • サンプル：

    質問	回答	ラベル
    are javascript developers in demand?	JavaScript is the skill that is most in-demand for IT in 2020, according to a report from developer skills tester DevSkiller. The report, “Top IT Skills report 2020: Demand and Hiring Trends,” has JavaScript switching places with Java when compared to last year's report, with Java in third place this year, behind SQL.	1
    are javascript developers in demand?	In one line difference between the two is: JavaScript is the programming language where as AngularJS is a framework based on JavaScript. ... It is also the basic for all java script based technologies like jquery, angular JS, bootstrap JS and so on. Angular JS is a framework written in javascript and uses MVC architecture.	0
    are javascript developers in demand?	Java applications are run in a virtual machine or web browser while JavaScript is run on a web browser. Java code is compiled whereas while JavaScript code is in text and in a web page. JavaScript is an OOP scripting language, whereas Java is an OOP programming language.	0

• 損失関数：BinaryCrossEntropyLoss、パラメータは以下の通り：

  {
      "activation_fct": "torch.nn.modules.linear.Identity",
      "pos_weight": 5
  }
  

訓練ハイパーパラメータ

• 非デフォルトのハイパーパラメータ
  • eval_strategy: steps
  • per_device_train_batch_size: 2048
  • per_device_eval_batch_size: 2048
  • learning_rate: 0.0005
  • num_train_epochs: 1
  • warmup_ratio: 0.1
  • seed: 12
  • bf16: True
• すべてのハイパーパラメータ：以下の展開ボタンをクリックして表示

訓練ログ

環境影響

CodeCarbonを使用して炭素排出量を測定：

• エネルギー消費量：0.019 kWh
• 炭素排出量：0.007 kg CO2
• 使用時間：0.099時間

訓練ハードウェア

• クラウドサービスを使用しているか：いいえ
• GPUモデル：1 x NVIDIA GeForce RTX 3090
• CPUモデル：13th Gen Intel(R) Core(TM) i7-13700K
• メモリサイズ：31.78 GB

フレームワークバージョン

• Python: 3.11.6
• Sentence Transformers: 3.5.0.dev0
• Transformers: 4.48.3
• PyTorch: 2.5.0+cu121
• Accelerate: 1.3.0
• Datasets: 2.20.0
• Tokenizers: 0.21.0

📄 ライセンス

このプロジェクトは、apache-2.0ライセンスを使用しています。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}