Reranker Bert Tiny Gooaq Bce Tanh V3

🚀 GooAQ上で訓練されたBERT-tinyモデル

このモデルは、Cross Encoderに基づいており、sentence-transformersライブラリを使用して、prajjwal1/bert-tinyから微調整されています。このモデルは、テキストペアに対してスコアを計算することができ、意味的なテキスト類似度、意味的な検索、言い換えの掘り起こし、テキスト分類、クラスタリングなどのタスクに使用できます。

このモデルは、train_script.pyを使用して訓練されました。

🚀 クイックスタート

このモデルは、Cross Encoderに基づく微調整モデルで、テキストペアのスコアを計算するために使用でき、さまざまな自然言語処理タスクに適しています。以下では、依存ライブラリのインストール方法と、このモデルを使用した推論の方法を説明します。

✨ 主な機能

• 多タスク対応：意味的なテキスト類似度、意味的な検索、言い換えの掘り起こし、テキスト分類、クラスタリングなどのさまざまなタスクに使用できます。
• 微調整モデル：prajjwal1/bert-tinyをベースに微調整されているため、特定のタスクにより適応します。

📦 インストール

まず、Sentence Transformersライブラリをインストールする必要があります。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

ライブラリをインストールしたら、モデルをロードして推論を行うことができます。

from sentence_transformers import CrossEncoder

# 🤗 Hubからモデルをダウンロード
model = CrossEncoder("cross-encoder-testing/reranker-bert-tiny-gooaq-bce")
# テキストペアを定義
pairs = [
    ['are javascript developers in demand?', "JavaScript is the skill that is most in-demand for IT in 2020, according to a report from developer skills tester DevSkiller. The report, “Top IT Skills report 2020: Demand and Hiring Trends,” has JavaScript switching places with Java when compared to last year's report, with Java in third place this year, behind SQL."],
    ['are javascript developers in demand?', 'In one line difference between the two is: JavaScript is the programming language where as AngularJS is a framework based on JavaScript. ... It is also the basic for all java script based technologies like jquery, angular JS, bootstrap JS and so on. Angular JS is a framework written in javascript and uses MVC architecture.'],
    ['are javascript developers in demand?', 'Java applications are run in a virtual machine or web browser while JavaScript is run on a web browser. Java code is compiled whereas while JavaScript code is in text and in a web page. JavaScript is an OOP scripting language, whereas Java is an OOP programming language.'],
    ['are javascript developers in demand?', 'Things in the body tag are the things that should be displayed: the actual content. Javascript in the body is executed as it is read and as the page is rendered. Javascript in the head is interpreted before anything is rendered.'],
    ['are javascript developers in demand?', 'Web apps tend to be built using JavaScript, CSS and HTML5. Unlike mobile apps, there is no standard software development kit for building web apps. However, developers do have access to templates. Compared to mobile apps, web apps are usually quicker and easier to build — but they are much simpler in terms of features.'],
]
# スコアを予測
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# または、単一のテキストとの類似度に基づいて異なるテキストを並べ替える
ranks = model.rank(
    'are javascript developers in demand?',
    [
        "JavaScript is the skill that is most in-demand for IT in 2020, according to a report from developer skills tester DevSkiller. The report, “Top IT Skills report 2020: Demand and Hiring Trends,” has JavaScript switching places with Java when compared to last year's report, with Java in third place this year, behind SQL.",
        'In one line difference between the two is: JavaScript is the programming language where as AngularJS is a framework based on JavaScript. ... It is also the basic for all java script based technologies like jquery, angular JS, bootstrap JS and so on. Angular JS is a framework written in javascript and uses MVC architecture.',
        'Java applications are run in a virtual machine or web browser while JavaScript is run on a web browser. Java code is compiled whereas while JavaScript code is in text and in a web page. JavaScript is an OOP scripting language, whereas Java is an OOP programming language.',
        'Things in the body tag are the things that should be displayed: the actual content. Javascript in the body is executed as it is read and as the page is rendered. Javascript in the head is interpreted before anything is rendered.',
        'Web apps tend to be built using JavaScript, CSS and HTML5. Unlike mobile apps, there is no standard software development kit for building web apps. However, developers do have access to templates. Compared to mobile apps, web apps are usually quicker and easier to build — but they are much simpler in terms of features.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

📚 ドキュメント

モデル詳細

モデルリソース

• ドキュメント：Sentence Transformers Documentation
• ドキュメント：Cross Encoder Documentation
• リポジトリ：Sentence Transformers on GitHub
• Hugging Face：Cross Encoders on Hugging Face

評価指標

Cross Encoderの再ランキング

• データセット：gooaq-dev、NanoMSMARCO、NanoNFCorpusおよびNanoNQ
• 評価方法：CrossEncoderRerankingEvaluatorを使用して評価

Cross Encoder Nano BEIR

• データセット：NanoBEIR_R100_mean
• 評価方法：CrossEncoderNanoBEIREvaluatorを使用して評価

訓練詳細

訓練データセット

• 未命名データセット
  • サイズ：578,402個の訓練サンプル
  • 列：question、answerおよびlabel
  • 最初の1000個のサンプルに基づく近似統計情報： | | 質問 | 回答 | ラベル | | ---- | ---- | ---- | ---- | | タイプ | string | string | int | | 詳細 |
    • 最小長: 21文字
    • 平均長: 43.81文字
    • 最大長: 96文字
    |
    • 最小長: 51文字
    • 平均長: 252.46文字
    • 最大長: 405文字
    |
    • 0: ~82.90%
    • 1: ~17.10%
    |
  • サンプル： | 質問 | 回答 | ラベル | | ---- | ---- | ---- | | are javascript developers in demand? | JavaScript is the skill that is most in-demand for IT in 2020, according to a report from developer skills tester DevSkiller. The report, “Top IT Skills report 2020: Demand and Hiring Trends,” has JavaScript switching places with Java when compared to last year's report, with Java in third place this year, behind SQL. | 1 | | are javascript developers in demand? | In one line difference between the two is: JavaScript is the programming language where as AngularJS is a framework based on JavaScript. ... It is also the basic for all java script based technologies like jquery, angular JS, bootstrap JS and so on. Angular JS is a framework written in javascript and uses MVC architecture. | 0 | | are javascript developers in demand? | Java applications are run in a virtual machine or web browser while JavaScript is run on a web browser. Java code is compiled whereas while JavaScript code is in text and in a web page. JavaScript is an OOP scripting language, whereas Java is an OOP programming language. | 0 |
• 損失関数：BinaryCrossEntropyLossを使用し、以下のパラメータを設定しました。

{
    "activation_fct": "torch.nn.modules.linear.Identity",
    "pos_weight": 5
}

訓練ハイパーパラメータ

デフォルトではないハイパーパラメータ

• eval_strategy: steps
• per_device_train_batch_size: 2048
• per_device_eval_batch_size: 2048
• learning_rate: 0.0005
• num_train_epochs: 1
• warmup_ratio: 0.1
• seed: 12
• bf16: True

すべてのハイパーパラメータ

訓練ログ

環境影響

CodeCarbonを使用して炭素排出量を測定しました。

• エネルギー消費量：0.019 kWh
• 炭素排出量：0.007 kgのCO2
• 使用時間：0.099時間

訓練ハードウェア

• クラウドサービスの使用有無：いいえ
• GPUモデル：1 x NVIDIA GeForce RTX 3090
• CPUモデル：13th Gen Intel(R) Core(TM) i7-13700K
• メモリ容量：31.78 GB

フレームワークバージョン

• Python: 3.11.6
• Sentence Transformers: 3.5.0.dev0
• Transformers: 4.48.3
• PyTorch: 2.5.0+cu121
• Accelerate: 1.3.0
• Datasets: 2.20.0
• Tokenizers: 0.21.0

🔧 技術詳細

このモデルは、Cross Encoderアーキテクチャに基づいており、BinaryCrossEntropyLossを損失関数として使用して微調整されています。特定のデータセットを使用した訓練により、モデルはテキストペア間の意味関係を学習し、テキストペアに対してスコアを計算することができます。訓練過程では、学習率、バッチサイズなどの一連のハイパーパラメータを使用して訓練プロセスを制御しています。

📄 ライセンス

このモデルは、apache-2.0ライセンスを使用しています。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}