Entity Matching Jobs

🚀 SentenceTransformer

SentenceTransformer是一個經過訓練的sentence-transformers模型。它可以將句子和段落映射到一個1024維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

📚 詳細文檔

模型描述

模型來源

• 文檔：Sentence Transformers Documentation
• 倉庫：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

💻 使用示例

基礎用法

首先安裝Sentence Transformers庫：

pip install -U sentence-transformers

然後你可以加載這個模型並進行推理。

from sentence_transformers import SentenceTransformer

# 從🤗 Hub下載
model = SentenceTransformer("engineai/entity_matching_jobs")
# 進行推理
sentences = [
    'Nigh Auditor',
    'Night Auditor',
    'Security Shift Supervisor',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

🔧 技術細節

訓練數據集

未命名數據集

• 大小：4997個訓練樣本
• 列：text_a、text_b和label
• 基於前1000個樣本的近似統計信息： | | text_a | text_b | label | | ---- | ---- | ---- | ---- | | 類型 | 字符串 | 字符串 | 整數 | | 詳情 |
  • 最小值：3個詞元
  • 平均值：5.66個詞元
  • 最大值：10個詞元
  |
  • 最小值：3個詞元
  • 平均值：5.48個詞元
  • 最大值：12個詞元
  |
  • 1：100.00%
  |
• 樣本： | text_a | text_b | label | | ---- | ---- | ---- | | Nrs | Nurse | 1 | | Nirse | Nurse | 1 | | Consumer Services Agent | Customer Service Representative | 1 |
• 損失函數：MultipleNegativesRankingLoss，參數如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

評估數據集

未命名數據集

• 大小：5707個評估樣本
• 列：text_a、text_b和label
• 基於前1000個樣本的近似統計信息： | | text_a | text_b | label | | ---- | ---- | ---- | ---- | | 類型 | 字符串 | 字符串 | 整數 | | 詳情 |
  • 最小值：3個詞元
  • 平均值：5.69個詞元
  • 最大值：11個詞元
  |
  • 最小值：3個詞元
  • 平均值：5.54個詞元
  • 最大值：15個詞元
  |
  • 1：100.00%
  |
• 樣本： | text_a | text_b | label | | ---- | ---- | ---- | | Catering Supervisor | Food Service Supervisor | 1 | | Catering Supervisor | Food Service Supervisor | 1 | | Cshier | Cashier | 1 |
• 損失函數：MultipleNegativesRankingLoss，參數如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

訓練超參數

非默認超參數

• eval_strategy：steps
• per_device_train_batch_size：200
• learning_rate：4e-05
• weight_decay：0.01
• num_train_epochs：40
• warmup_ratio：0.2
• load_best_model_at_end：True

所有超參數

訓練日誌

框架版本

• Python：3.10.12
• Sentence Transformers：3.3.1
• Transformers：4.47.1
• PyTorch：2.1.0+cu118
• Accelerate：1.2.1
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}