Modernce Base Sts

🚀 基于ModernBERT的交叉编码器：语义相似度（STS）

本项目基于answerdotai/ModernBERT-base架构，构建了用于语义相似度任务的交叉编码器。交叉编码器能够比较两个文本并输出0 - 1之间的相似度得分，在评估大语言模型（LLM）输出方面表现出色。本模型具有高性能、高效架构、长上下文处理能力和多样化训练等优势，是语义相似度评估的优质选择。

🚀 快速开始

要使用ModernCE进行语义相似度任务，你可以使用Hugging Face的sentence-transformers库加载模型：

from sentence_transformers import CrossEncoder

# 加载ModernCE模型
model = CrossEncoder("dleemiller/ModernCE-base-sts")

# 预测句子对的相似度得分
sentence_pairs = [
    ("It's a wonderful day outside.", "It's so sunny today!"),
    ("It's a wonderful day outside.", "He drove to work earlier."),
]
scores = model.predict(sentence_pairs)

print(scores)  # 输出: array([0.9184, 0.0123], dtype=float32)

输出

模型返回的相似度得分范围为[0, 1]，得分越高表示语义相似度越强。

✨ 主要特性

• 高性能：在STS基准测试集上，皮尔逊相关系数达到0.9162，斯皮尔曼相关系数达到0.9122。
• 高效架构：基于ModernBERT-base设计（1.49亿参数），推理速度更快。
• 长上下文处理能力：能够处理长达8192个标记的序列，非常适合评估大语言模型的输出。
• 多样化训练：在dleemiller/wiki-sim数据集上进行预训练，并在sentence-transformers/stsb数据集上进行微调。

📊 性能表现

💻 使用示例

基础用法

from sentence_transformers import CrossEncoder

# 加载ModernCE模型
model = CrossEncoder("dleemiller/ModernCE-base-sts")

# 预测句子对的相似度得分
sentence_pairs = [
    ("It's a wonderful day outside.", "It's so sunny today!"),
    ("It's a wonderful day outside.", "He drove to work earlier."),
]
scores = model.predict(sentence_pairs)

print(scores)  # 输出: array([0.9184, 0.0123], dtype=float32)

🔧 技术细节

预训练

模型在dleemiller/wiki-sim数据集的pair-score-sampled子集上进行预训练。该数据集提供了多样化的句子对及语义相似度得分，有助于模型建立对句子关系的强大理解。

• 分类器丢弃率：采用了相对较大的分类器丢弃率0.3，以减少对教师得分的过度依赖。
• 目标：以cross-encoder/stsb-roberta-large的STS - B得分作为目标。

微调

模型在sentence-transformers/stsb数据集上进行微调。

验证结果

微调后，模型在测试集上取得了以下性能：

• 皮尔逊相关系数：0.9162
• 斯皮尔曼相关系数：0.9122

📚 详细文档

模型卡片

📄 许可证

本模型采用MIT许可证。

🙏 致谢

感谢AnswerAI团队提供ModernBERT模型，以及Sentence Transformers团队在Transformer编码器模型方面的杰出贡献。

📖 引用

如果您在研究中使用了本模型，请引用：

@misc{moderncestsb2025,
  author = {Miller, D. Lee},
  title = {ModernCE STS: An STS cross encoder model},
  year = {2025},
  publisher = {Hugging Face Hub},
  url = {https://huggingface.co/dleemiller/ModernCE-base-sts},
}