Stackoverflow Mpnet Base

🚀 stackoverflow_mpnet-base

stackoverflow_mpnet-base是一个基于StackOverflow数据训练的模型，可用于句子相似度计算、语义搜索等任务，能有效提取句子的语义信息。

🚀 快速开始

本模型旨在作为搜索引擎的句子编码器。给定输入句子，它会输出一个捕获句子语义信息的向量。该句子向量可用于语义搜索、聚类或句子相似度任务。

✨ 主要特性

• 强大的语义理解能力：能够准确捕捉句子的语义信息，输出高质量的句子向量。
• 广泛的应用场景：适用于语义搜索、聚类和句子相似度等多种任务。
• 基于大规模数据训练：使用了StackOverflow的18,562,443个（标题，正文）对进行训练。

📦 安装指南

使用此模型，你需要安装SentenceTransformers库。可以使用以下命令进行安装：

pip install sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/stackoverflow_mpnet-base')
text = "Replace me by any question / answer you'd like."
text_embbedding = model.encode(text)
# array([-0.01559514,  0.04046123,  0.1317083 ,  0.00085931,  0.04585106,
#        -0.05607086,  0.0138078 ,  0.03569756,  0.01420381,  0.04266302 ...],
#        dtype=float32)

高级用法

# 可以将模型应用于批量文本处理
from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/stackoverflow_mpnet-base')
texts = ["This is the first sentence.", "And this is the second one."]
text_embeddings = model.encode(texts)
# 输出批量文本的向量表示

📚 详细文档

训练过程

预训练

我们使用了预训练的 microsoft/mpnet-base 模型。有关预训练过程的更多详细信息，请参考该模型的卡片。

微调

我们使用对比目标对模型进行微调。具体来说，我们计算批次中每个可能的句子对的余弦相似度，然后通过与真实对进行比较来应用交叉熵损失。

超参数

• 硬件环境：在TPU v3 - 8上进行训练。
• 训练步数：80k步。
• 批次大小：1024（每个TPU核心128）。
• 学习率预热：500。
• 序列长度：限制为128个标记。
• 优化器：使用AdamW优化器，学习率为2e - 5。

完整的训练脚本可在当前仓库中找到。

训练数据

我们使用了StackOverflow的18,562,443个（标题，正文）对作为训练数据。

预期用途

我们的模型旨在用作搜索引擎的句子编码器。给定输入句子，它会输出一个捕获句子语义信息的向量。该句子向量可用于语义搜索、聚类或句子相似度任务。

开发背景

我们在由Hugging Face组织的 社区周：使用JAX/Flax进行NLP和CV 期间开发了此模型。该模型是项目 使用10亿训练对训练有史以来最好的句子嵌入模型 的一部分。我们受益于高效的硬件基础设施（7个TPU v3 - 8）以及Google的Flax、JAX和云团队成员在高效深度学习框架方面的帮助。