All Datasets V4 Mpnet Base

🚀 句子相似度模型

本项目致力于在超大规模的句子级数据集上，运用自监督对比学习目标来训练句子嵌入模型。该模型能将输入的句子转化为向量，捕捉句子的语义信息，可用于信息检索、聚类或句子相似度任务。

🚀 快速开始

本模型可作为句子编码器使用，输入句子后，它会输出一个捕捉句子语义信息的向量。该句子向量可用于信息检索、聚类或句子相似度任务。

✨ 主要特性

• 大规模数据训练：在超过10亿个句子对的数据集上进行微调，使模型能够学习到丰富的语义信息。
• 对比学习目标：采用对比学习目标，增强模型对句子语义的理解和区分能力。
• 高效硬件支持：借助7个TPU v3 - 8进行训练，并得到Google的Flax、JAX和Cloud团队成员在高效深度学习框架方面的支持。

📦 安装指南

使用此模型前，你需要安装 SentenceTransformers 库。你可以使用以下命令进行安装：

pip install sentence-transformers

💻 使用示例

基础用法

以下是如何使用 SentenceTransformers 库来获取给定文本特征的示例代码：

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/all_datasets_v4_mpnet-base')
text = "Replace me by any text you'd like."
text_embbedding = model.encode(text)
# array([-0.01559514,  0.04046123,  0.1317083 ,  0.00085931,  0.04585106,
#        -0.05607086,  0.0138078 ,  0.03569756,  0.01420381,  0.04266302 ...],
#        dtype=float32)

📚 详细文档

模型描述

项目旨在使用自监督对比学习目标，在非常大的句子级数据集上训练句子嵌入模型。我们使用预训练的 'mpnet-base' 模型，并在10亿个句子对的数据集上进行微调。我们使用对比学习目标：给定一对中的一个句子，模型应该预测在一组随机采样的其他句子中，哪个实际上在我们的数据集中与它配对。

本模型是在Hugging Face组织的 使用JAX/Flax进行NLP和CV的社区周 期间开发的。作为 使用10亿个训练对训练有史以来最好的句子嵌入模型 项目的一部分，我们受益于高效的硬件基础设施（7个TPU v3 - 8），以及Google的Flax、JAX和Cloud团队成员在高效深度学习框架方面的支持。

训练过程

预训练

我们使用预训练的 'mpnet-base' 模型。有关预训练过程的更详细信息，请参考模型卡片。

微调

我们使用对比目标对模型进行微调。具体来说，我们计算批次中每个可能句子对的余弦相似度，然后通过与真实对进行比较来应用交叉熵损失。

超参数

• 训练步数：540k步
• 批次大小：1024（每个TPU核心128）
• 学习率预热：500
• 序列长度：限制为128个标记
• 优化器：AdamW，学习率为2e - 5

完整的训练脚本可在当前仓库中获取。

训练数据

我们使用多个数据集的组合来微调模型，句子对总数超过10亿。每个数据集根据加权概率进行采样，具体配置详见 data_config.json 文件。