Entity Matching Jobs

🚀 SentenceTransformer

このモデルはsentence-transformersを用いて学習されたものです。文章や段落を1024次元の密ベクトル空間にマッピングし、意味的な文章の類似度判定、意味検索、パラフレーズマイニング、テキスト分類、クラスタリングなどに利用できます。

🚀 クイックスタート

このモデルを使用する前に、Sentence Transformersライブラリをインストールする必要があります。

pip install -U sentence-transformers

その後、このモデルをロードして推論を実行できます。

from sentence_transformers import SentenceTransformer

# 🤗 Hubからダウンロード
model = SentenceTransformer("engineai/entity_matching_jobs")
# 推論の実行
sentences = [
    'Nigh Auditor',
    'Night Auditor',
    'Security Shift Supervisor',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 埋め込みベクトルの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主な機能

• 文章や段落を1024次元の密ベクトル空間にマッピングします。
• 意味的な文章の類似度判定、意味検索、パラフレーズマイニング、テキスト分類、クラスタリングなどに利用できます。

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• ドキュメント: Sentence Transformers Documentation
• リポジトリ: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

学習の詳細

学習データセット

無名データセット

• サイズ: 4,997個の学習サンプル
• 列: text_a、text_b、label
• 最初の1000サンプルに基づく近似統計:

  	text_a	text_b	label
  タイプ	文字列	文字列	整数
  詳細	最小: 3トークン 平均: 5.66トークン 最大: 10トークン	最小: 3トークン 平均: 5.48トークン 最大: 12トークン	1: 100.00%

• サンプル:

  text_a	text_b	label
  Nrs	Nurse	1
  Nirse	Nurse	1
  Consumer Services Agent	Customer Service Representative	1

• 損失関数: MultipleNegativesRankingLoss パラメータは以下の通りです。

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

評価データセット

無名データセット

• サイズ: 5,707個の評価サンプル
• 列: text_a、text_b、label
• 最初の1000サンプルに基づく近似統計:

  	text_a	text_b	label
  タイプ	文字列	文字列	整数
  詳細	最小: 3トークン 平均: 5.69トークン 最大: 11トークン	最小: 3トークン 平均: 5.54トークン 最大: 15トークン	1: 100.00%

• サンプル:

  text_a	text_b	label
  Catering Supervisor	Food Service Supervisor	1
  Catering Supervisor	Food Service Supervisor	1
  Cshier	Cashier	1

• 損失関数: MultipleNegativesRankingLoss パラメータは以下の通りです。

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

学習ハイパーパラメータ

デフォルトではないハイパーパラメータ

• eval_strategy: steps
• per_device_train_batch_size: 200
• learning_rate: 4e-05
• weight_decay: 0.01
• num_train_epochs: 40
• warmup_ratio: 0.2
• load_best_model_at_end: True

すべてのハイパーパラメータ

学習ログ

フレームワークのバージョン

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.1.0+cu118
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

📄 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}