Modernbert Base Sts

🚀 基于answerdotai/ModernBERT-base的句子转换器

本项目基于 answerdotai/ModernBERT-base 模型，在 stsb 数据集上进行微调，得到了一个句子转换器模型。该模型可以将句子和段落映射到768维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

本模型是一个基于 answerdotai/ModernBERT-base 在 stsb 数据集上微调的 sentence-transformers 模型。它能将句子和段落映射到768维的密集向量空间，可用于语义文本相似度、语义搜索、释义挖掘、文本分类、聚类等任务。

✨ 主要特性

• 语义相似度计算：能够准确计算句子之间的语义相似度。
• 多任务支持：可用于语义搜索、释义挖掘、文本分类、聚类等多种自然语言处理任务。
• 高维向量映射：将句子和段落映射到768维的密集向量空间。

📦 安装指南

首先，你需要安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("nickprock/ModernBERT-base-sts")
# 运行推理
sentences = [
    'While Queen may refer to both Queen regent (sovereign) or Queen consort, the King has always been the sovereign.',
    'There is a very good reason not to refer to the Queen\'s spouse as "King" - because they aren\'t the King.',
    'A man sitting on the floor in a room is strumming a guitar.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

评估

指标

训练详情

训练数据集

• 数据集：stsb
• 大小：5749 个训练样本
• 列：sentence1、sentence2 和 score
• 损失函数：CoSENTLoss，参数如下：

{
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

评估数据集

• 数据集：stsb
• 大小：1500 个评估样本
• 列：sentence1、sentence2 和 score
• 损失函数：CoSENTLoss，参数如下：

{
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 4
• warmup_ratio: 0.1
• fp16: True

所有超参数

训练日志

框架版本

• Python：3.10.12
• Sentence Transformers：3.4.0.dev0
• Transformers：4.49.0.dev0
• PyTorch：2.4.1+cu121
• Accelerate：0.34.2
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 许可证

文档中未提及相关许可证信息。

🔧 技术细节

引用

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}