Jobbert V2

🚀 基於 sentence-transformers/all-mpnet-base-v2 的句子轉換器

本項目是一個專門為職位名稱匹配和相似度計算而訓練的 sentence-transformers 模型。它基於 sentence-transformers/all-mpnet-base-v2 在包含大量職位名稱及其相關技能/要求的數據集上進行微調。該模型將職位名稱和描述映射到一個 1024 維的密集向量空間，可用於語義職位名稱匹配、職位相似度搜索以及相關的人力資源/招聘任務。

🚀 快速開始

直接使用（Sentence Transformers）

首先安裝所需的包：

pip install -U sentence-transformers

然後可以使用以下代碼加載和使用模型：

import torch
import numpy as np
from tqdm.auto import tqdm
from sentence_transformers import SentenceTransformer
from sentence_transformers.util import batch_to_device, cos_sim

# 加載模型
model = SentenceTransformer("TechWolf/JobBERT-v2")

def encode_batch(jobbert_model, texts):
    features = jobbert_model.tokenize(texts)
    features = batch_to_device(features, jobbert_model.device)
    features["text_keys"] = ["anchor"]
    with torch.no_grad():
        out_features = jobbert_model.forward(features)
    return out_features["sentence_embedding"].cpu().numpy()

def encode(jobbert_model, texts, batch_size: int = 8):
    # 按文本長度排序並記錄原始索引
    sorted_indices = np.argsort([len(text) for text in texts])
    sorted_texts = [texts[i] for i in sorted_indices]
    
    embeddings = []
    
    # 分批編碼
    for i in tqdm(range(0, len(sorted_texts), batch_size)):
        batch = sorted_texts[i:i+batch_size]
        embeddings.append(encode_batch(jobbert_model, batch))
    
    # 連接嵌入並按原始索引重新排序
    sorted_embeddings = np.concatenate(embeddings)
    original_order = np.argsort(sorted_indices)
    return sorted_embeddings[original_order]

# 示例用法
job_titles = [
    'Software Engineer',
    'Senior Software Developer',
    'Product Manager',
    'Data Scientist'
]

# 獲取嵌入
embeddings = encode(model, job_titles)

# 計算餘弦相似度矩陣
similarities = cos_sim(embeddings, embeddings)
print(similarities)

輸出將是一個相似度矩陣，其中每個值表示兩個職位名稱之間的餘弦相似度：

tensor([[1.0000, 0.8723, 0.4821, 0.5447],
        [0.8723, 1.0000, 0.4822, 0.5019],
        [0.4821, 0.4822, 1.0000, 0.4328],
        [0.5447, 0.5019, 0.4328, 1.0000]])

在此示例中：

• 對角線上的值為 1.0000（自身的完美相似度）
• 'Software Engineer' 和 'Senior Software Developer' 具有較高的相似度（0.8723）
• 'Product Manager' 和 'Data Scientist' 與其他角色的相似度較低
• 所有值都在 0 到 1 之間，值越高表示相似度越高

示例用例

1. 職位名稱匹配：查找相似的職位名稱以進行標準化或匹配
2. 職位搜索：根據職位名稱相似度為求職者匹配相關職位
3. 人力資源分析：分析跨組織的職位名稱模式和相似度
4. 人才管理：識別相似的角色以進行職業發展和繼任規劃

✨ 主要特性

• 專門為職位名稱匹配和相似度計算而訓練
• 將職位名稱和描述映射到 1024 維的密集向量空間
• 可用於語義職位名稱匹配、職位相似度搜索以及相關的人力資源/招聘任務

📦 安裝指南

pip install -U sentence-transformers

💻 使用示例

基礎用法

import torch
import numpy as np
from tqdm.auto import tqdm
from sentence_transformers import SentenceTransformer
from sentence_transformers.util import batch_to_device, cos_sim

# 加載模型
model = SentenceTransformer("TechWolf/JobBERT-v2")

def encode_batch(jobbert_model, texts):
    features = jobbert_model.tokenize(texts)
    features = batch_to_device(features, jobbert_model.device)
    features["text_keys"] = ["anchor"]
    with torch.no_grad():
        out_features = jobbert_model.forward(features)
    return out_features["sentence_embedding"].cpu().numpy()

def encode(jobbert_model, texts, batch_size: int = 8):
    # 按文本長度排序並記錄原始索引
    sorted_indices = np.argsort([len(text) for text in texts])
    sorted_texts = [texts[i] for i in sorted_indices]
    
    embeddings = []
    
    # 分批編碼
    for i in tqdm(range(0, len(sorted_texts), batch_size)):
        batch = sorted_texts[i:i+batch_size]
        embeddings.append(encode_batch(jobbert_model, batch))
    
    # 連接嵌入並按原始索引重新排序
    sorted_embeddings = np.concatenate(embeddings)
    original_order = np.argsort(sorted_indices)
    return sorted_embeddings[original_order]

# 示例用法
job_titles = [
    'Software Engineer',
    'Senior Software Developer',
    'Product Manager',
    'Data Scientist'
]

# 獲取嵌入
embeddings = encode(model, job_titles)

# 計算餘弦相似度矩陣
similarities = cos_sim(embeddings, embeddings)
print(similarities)

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 64, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Asym(
    (anchor-0): Dense({'in_features': 768, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
    (positive-0): Dense({'in_features': 768, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
  )
)

訓練詳情

訓練數據集

• 生成器
  • 數據集：550 萬個以上的職位名稱對
  • 格式：錨定職位名稱與相關技能/要求配對
  • 訓練目標：學習職位名稱與其相關技能之間的語義相似度
  • 損失：使用餘弦相似度的 CachedMultipleNegativesRankingLoss

訓練超參數

• 批量大小：2048
• 學習率：5e-05
• 訓練輪數：1
• FP16 訓練：啟用
• 優化器：AdamW

框架版本

• Python：3.9.19
• Sentence Transformers：3.1.0
• Transformers：4.44.2
• PyTorch：2.4.1+cu118
• Accelerate：0.34.2
• Datasets：3.0.0
• Tokenizers：0.19.1

🔧 技術細節

本模型基於 Sentence Transformers 框架，使用 MPNet 作為基礎模型。通過在大規模的職位名稱數據集上進行微調，學習職位名稱和相關技能之間的語義相似度。具體來說，使用了 CachedMultipleNegativesRankingLoss 損失函數和餘弦相似度來訓練模型，以確保模型能夠準確地捕捉職位名稱之間的語義關係。

📄 許可證

文檔中未提及相關許可證信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}