Entity Matching Jobs

🚀 SentenceTransformer

SentenceTransformer是一个经过训练的sentence-transformers模型。它可以将句子和段落映射到一个1024维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

📚 详细文档

模型描述

模型来源

• 文档：Sentence Transformers Documentation
• 仓库：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

💻 使用示例

基础用法

首先安装Sentence Transformers库：

pip install -U sentence-transformers

然后你可以加载这个模型并进行推理。

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("engineai/entity_matching_jobs")
# 进行推理
sentences = [
    'Nigh Auditor',
    'Night Auditor',
    'Security Shift Supervisor',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

🔧 技术细节

训练数据集

未命名数据集

• 大小：4997个训练样本
• 列：text_a、text_b和label
• 基于前1000个样本的近似统计信息： | | text_a | text_b | label | | ---- | ---- | ---- | ---- | | 类型 | 字符串 | 字符串 | 整数 | | 详情 |
  • 最小值：3个词元
  • 平均值：5.66个词元
  • 最大值：10个词元
  |
  • 最小值：3个词元
  • 平均值：5.48个词元
  • 最大值：12个词元
  |
  • 1：100.00%
  |
• 样本： | text_a | text_b | label | | ---- | ---- | ---- | | Nrs | Nurse | 1 | | Nirse | Nurse | 1 | | Consumer Services Agent | Customer Service Representative | 1 |
• 损失函数：MultipleNegativesRankingLoss，参数如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

评估数据集

未命名数据集

• 大小：5707个评估样本
• 列：text_a、text_b和label
• 基于前1000个样本的近似统计信息： | | text_a | text_b | label | | ---- | ---- | ---- | ---- | | 类型 | 字符串 | 字符串 | 整数 | | 详情 |
  • 最小值：3个词元
  • 平均值：5.69个词元
  • 最大值：11个词元
  |
  • 最小值：3个词元
  • 平均值：5.54个词元
  • 最大值：15个词元
  |
  • 1：100.00%
  |
• 样本： | text_a | text_b | label | | ---- | ---- | ---- | | Catering Supervisor | Food Service Supervisor | 1 | | Catering Supervisor | Food Service Supervisor | 1 | | Cshier | Cashier | 1 |
• 损失函数：MultipleNegativesRankingLoss，参数如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

训练超参数

非默认超参数

• eval_strategy：steps
• per_device_train_batch_size：200
• learning_rate：4e-05
• weight_decay：0.01
• num_train_epochs：40
• warmup_ratio：0.2
• load_best_model_at_end：True

所有超参数

训练日志

框架版本

• Python：3.10.12
• Sentence Transformers：3.3.1
• Transformers：4.47.1
• PyTorch：2.1.0+cu118
• Accelerate：1.2.1
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}