Modernbert Embed Base Ft Sts Spanish Matryoshka 768 64

🚀 基于nomic-ai/modernbert-embed-base的句子转换器

这是一个基于 sentence-transformers 的模型，它在 stsb_multi_es_augmented（私有）数据集上对 nomic-ai/modernbert-embed-base 进行了微调。该模型可将句子和段落映射到一个768维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后你可以加载这个模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("mrm8488/modernbert-embed-base-ft-sts-spanish-matryoshka-768-64-5e")
# 进行推理
sentences = [
    'El cordero está mirando hacia la cámara.',
    'Un gato está mirando hacia la cámara también.',
    '"Sí, no deseo estar presente durante este testimonio", declaró tranquilamente Peterson, de 31 años, al juez cuando fue devuelto a su celda.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 基于 nomic-ai/modernbert-embed-base 微调，适用于语义文本相似度等多种任务。
• 支持最大8192个标记的序列长度。
• 输出768维的向量，使用余弦相似度计算。

📦 安装指南

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("mrm8488/modernbert-embed-base-ft-sts-spanish-matryoshka-768-64-5e")
# 进行推理
sentences = [
    'El cordero está mirando hacia la cámara.',
    'Un gato está mirando hacia la cámara también.',
    '"Sí, no deseo estar presente durante este testimonio", declaró tranquilamente Peterson, de 31 años, al juez cuando fue devuelto a su celda.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

评估

指标

训练详情

训练数据集

• stsb_multi_es_augmented（私有）
  • 大小：2697个训练样本
  • 列：sentence1、sentence2 和 score
  • 基于前1000个样本的近似统计信息： | | sentence1 | sentence2 | score | |------|------|------|------| | 类型 | 字符串 | 字符串 | 浮点数 | | 详情 |
    • 最小：9个标记
    • 平均：28.42个标记
    • 最大：96个标记
    |
    • 最小：10个标记
    • 平均：28.01个标记
    • 最大：92个标记
    |
    • 最小：0.0
    • 平均：2.72
    • 最大：5.0
    |
  • 样本： | sentence1 | sentence2 | score | |------|------|------| | El pájaro de tamaño reducido se posó con delicadeza en una rama cubierta de escarcha. | Un ave de color amarillo descansaba tranquilamente en una rama. | 3.200000047683716 | | Una chica está tocando la flauta en un parque. | Un grupo de músicos está tocando en un escenario al aire libre. | 1.286 | | La aclamada escritora británica, Doris Lessing, galardonada con el premio Nobel, fallece | La destacada autora británica, Doris Lessing, reconocida con el prestigioso Premio Nobel, muere | 4.199999809265137 |
  • 损失函数：MatryoshkaLoss，参数如下：

{
    "loss": "CoSENTLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

评估数据集

• stsb_multi_es_augmented（私有）
  • 大小：697个评估样本
  • 列：sentence1、sentence2 和 score
  • 基于前697个样本的近似统计信息： | | sentence1 | sentence2 | score | |------|------|------|------| | 类型 | 字符串 | 字符串 | 浮点数 | | 详情 |
    • 最小：9个标记
    • 平均：29.35个标记
    • 最大：87个标记
    |
    • 最小：9个标记
    • 平均：28.52个标记
    • 最大：81个标记
    |
    • 最小：0.0
    • 平均：2.3
    • 最大：5.0
    |
  • 样本： | sentence1 | sentence2 | score | |------|------|------| | Un incendio ocurrido en un hospital psiquiátrico ruso resultó en la trágica muerte de 38 personas. | Se teme que el incendio en un hospital psiquiátrico ruso cause la pérdida de la vida de 38 individuos. | 4.199999809265137 | | "Street dijo que el otro individuo a veces se siente avergonzado de su fiesta, lo cual provoca risas en la multitud" | "A veces, el otro tipo se encuentra avergonzado de su fiesta y no se le puede culpar." | 3.5 | | El veterano diplomático de Malasia tuvo un encuentro con Suu Kyi el miércoles en la casa del lago en Yangon donde permanece bajo arresto domiciliario. | Razali Ismail tuvo una reunión de 90 minutos con Suu Kyi, quien ganó el Premio Nobel de la Paz en 1991, en su casa del lago donde está recluida. | 3.691999912261963 |
  • 损失函数：MatryoshkaLoss，参数如下：

{
    "loss": "CoSENTLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

训练超参数

非默认超参数

• eval_strategy：steps
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• num_train_epochs：5
• warmup_ratio：0.1
• bf16：True

所有超参数

训练日志

框架版本

• Python：3.10.12
• Sentence Transformers：3.3.1
• Transformers：4.48.0
• PyTorch：2.5.1+cu121
• Accelerate：1.2.1
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 许可证

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}