Modernbert Base Msmarco

🚀 基於answerdotai/ModernBERT-base的句子轉換器模型

本模型是基於 answerdotai/ModernBERT-base 在 msmarco-co-condenser-margin-mse-sym-mnrl-mean-v1 數據集上微調得到的 sentence-transformers 模型。它可以將句子和段落映射到768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

我使用官方倉庫 train_st.py 中的腳本，在RTX 4090 GPU上對 ModernBERT-base 進行微調，僅將 CachedMultipleNegativesRankingLoss 的小批量大小設置為128。訓練1個輪次耗時不到1小時。

GradCache 的小批量大小不會改變模型性能，但微調後的模型表現優於論文中記錄的結果。具體的 MTEB 評估結果可在結果文件夾 mteb 中查看。

訓練日誌可在此處查看：https://api.wandb.ai/links/joe32140/ekuauaao 。

✨ 主要特性

• 可將句子和段落映射到768維的密集向量空間。
• 適用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等多種任務。
• 微調後的模型在 MTEB 評估中表現優於論文記錄結果。

📦 安裝指南

若要使用該模型，首先需要安裝 Sentence Transformers 庫，可使用以下命令進行安裝：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從🤗 Hub下載模型
model = SentenceTransformer("joe32140/ModernBERT-base-msmarco")
# 運行推理
sentences = [
    'what county is hayden in',
    "Hayden is a city in Kootenai County, Idaho, United States. Located in the northern portion of the state, just north of