Modernbert Embed Base Ft Sts Spanish Matryoshka 768 64

🚀 基於nomic-ai/modernbert-embed-base的句子轉換器

這是一個基於 sentence-transformers 的模型，它在 stsb_multi_es_augmented（私有）數據集上對 nomic-ai/modernbert-embed-base 進行了微調。該模型可將句子和段落映射到一個768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

首先安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

然後你可以加載這個模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("mrm8488/modernbert-embed-base-ft-sts-spanish-matryoshka-768-64-5e")
# 進行推理
sentences = [
    'El cordero está mirando hacia la cámara.',
    'Un gato está mirando hacia la cámara también.',
    '"Sí, no deseo estar presente durante este testimonio", declaró tranquilamente Peterson, de 31 años, al juez cuando fue devuelto a su celda.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 基於 nomic-ai/modernbert-embed-base 微調，適用於語義文本相似度等多種任務。
• 支持最大8192個標記的序列長度。
• 輸出768維的向量，使用餘弦相似度計算。

📦 安裝指南

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("mrm8488/modernbert-embed-base-ft-sts-spanish-matryoshka-768-64-5e")
# 進行推理
sentences = [
    'El cordero está mirando hacia la cámara.',
    'Un gato está mirando hacia la cámara también.',
    '"Sí, no deseo estar presente durante este testimonio", declaró tranquilamente Peterson, de 31 años, al juez cuando fue devuelto a su celda.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

指標

訓練詳情

訓練數據集

• stsb_multi_es_augmented（私有）
  • 大小：2697個訓練樣本
  • 列：sentence1、sentence2 和 score
  • 基於前1000個樣本的近似統計信息： | | sentence1 | sentence2 | score | |------|------|------|------| | 類型 | 字符串 | 字符串 | 浮點數 | | 詳情 |
    • 最小：9個標記
    • 平均：28.42個標記
    • 最大：96個標記
    |
    • 最小：10個標記
    • 平均：28.01個標記
    • 最大：92個標記
    |
    • 最小：0.0
    • 平均：2.72
    • 最大：5.0
    |
  • 樣本： | sentence1 | sentence2 | score | |------|------|------| | El pájaro de tamaño reducido se posó con delicadeza en una rama cubierta de escarcha. | Un ave de color amarillo descansaba tranquilamente en una rama. | 3.200000047683716 | | Una chica está tocando la flauta en un parque. | Un grupo de músicos está tocando en un escenario al aire libre. | 1.286 | | La aclamada escritora británica, Doris Lessing, galardonada con el premio Nobel, fallece | La destacada autora británica, Doris Lessing, reconocida con el prestigioso Premio Nobel, muere | 4.199999809265137 |
  • 損失函數：MatryoshkaLoss，參數如下：

{
    "loss": "CoSENTLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

評估數據集

• stsb_multi_es_augmented（私有）
  • 大小：697個評估樣本
  • 列：sentence1、sentence2 和 score
  • 基於前697個樣本的近似統計信息： | | sentence1 | sentence2 | score | |------|------|------|------| | 類型 | 字符串 | 字符串 | 浮點數 | | 詳情 |
    • 最小：9個標記
    • 平均：29.35個標記
    • 最大：87個標記
    |
    • 最小：9個標記
    • 平均：28.52個標記
    • 最大：81個標記
    |
    • 最小：0.0
    • 平均：2.3
    • 最大：5.0
    |
  • 樣本： | sentence1 | sentence2 | score | |------|------|------| | Un incendio ocurrido en un hospital psiquiátrico ruso resultó en la trágica muerte de 38 personas. | Se teme que el incendio en un hospital psiquiátrico ruso cause la pérdida de la vida de 38 individuos. | 4.199999809265137 | | "Street dijo que el otro individuo a veces se siente avergonzado de su fiesta, lo cual provoca risas en la multitud" | "A veces, el otro tipo se encuentra avergonzado de su fiesta y no se le puede culpar." | 3.5 | | El veterano diplomático de Malasia tuvo un encuentro con Suu Kyi el miércoles en la casa del lago en Yangon donde permanece bajo arresto domiciliario. | Razali Ismail tuvo una reunión de 90 minutos con Suu Kyi, quien ganó el Premio Nobel de la Paz en 1991, en su casa del lago donde está recluida. | 3.691999912261963 |
  • 損失函數：MatryoshkaLoss，參數如下：

{
    "loss": "CoSENTLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

訓練超參數

非默認超參數

• eval_strategy：steps
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• num_train_epochs：5
• warmup_ratio：0.1
• bf16：True

所有超參數

訓練日誌

框架版本

• Python：3.10.12
• Sentence Transformers：3.3.1
• Transformers：4.48.0
• PyTorch：2.5.1+cu121
• Accelerate：1.2.1
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 許可證

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}