Modernbert Base Sts

🚀 基於answerdotai/ModernBERT-base的句子轉換器

本項目基於 answerdotai/ModernBERT-base 模型，在 stsb 數據集上進行微調，得到了一個句子轉換器模型。該模型可以將句子和段落映射到768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

本模型是一個基於 answerdotai/ModernBERT-base 在 stsb 數據集上微調的 sentence-transformers 模型。它能將句子和段落映射到768維的密集向量空間，可用於語義文本相似度、語義搜索、釋義挖掘、文本分類、聚類等任務。

✨ 主要特性

• 語義相似度計算：能夠準確計算句子之間的語義相似度。
• 多任務支持：可用於語義搜索、釋義挖掘、文本分類、聚類等多種自然語言處理任務。
• 高維向量映射：將句子和段落映射到768維的密集向量空間。

📦 安裝指南

首先，你需要安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載模型
model = SentenceTransformer("nickprock/ModernBERT-base-sts")
# 運行推理
sentences = [
    'While Queen may refer to both Queen regent (sovereign) or Queen consort, the King has always been the sovereign.',
    'There is a very good reason not to refer to the Queen\'s spouse as "King" - because they aren\'t the King.',
    'A man sitting on the floor in a room is strumming a guitar.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

評估

指標

訓練詳情

訓練數據集

• 數據集：stsb
• 大小：5749 個訓練樣本
• 列：sentence1、sentence2 和 score
• 損失函數：CoSENTLoss，參數如下：

{
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

評估數據集

• 數據集：stsb
• 大小：1500 個評估樣本
• 列：sentence1、sentence2 和 score
• 損失函數：CoSENTLoss，參數如下：

{
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

訓練超參數

非默認超參數

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 4
• warmup_ratio: 0.1
• fp16: True

所有超參數

訓練日誌

框架版本

• Python：3.10.12
• Sentence Transformers：3.4.0.dev0
• Transformers：4.49.0.dev0
• PyTorch：2.4.1+cu121
• Accelerate：0.34.2
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 許可證

文檔中未提及相關許可證信息。

🔧 技術細節

引用

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}