All Datasets V3 MiniLM L6

🚀 句子相似度模型

本项目旨在使用自监督对比学习目标，在超大型句子级数据集上训练句子嵌入模型。该模型可输出捕获句子语义信息的向量，用于信息检索、聚类或句子相似度任务。

🚀 快速开始

模型用途

我们的模型旨在用作句子编码器。给定输入句子，它会输出一个捕获句子语义信息的向量。该句子向量可用于信息检索、聚类或句子相似度任务。

使用方法

以下是如何使用 SentenceTransformers 库来获取给定文本的特征：

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/all_datasets_v3_MiniLM-L6')
text = "Replace me by any text you'd like."
text_embbedding = model.encode(text)
# array([-0.01559514,  0.04046123,  0.1317083 ,  0.00085931,  0.04585106,
#        -0.05607086,  0.0138078 ,  0.03569756,  0.01420381,  0.04266302 ...],
#        dtype=float32)

✨ 主要特性

• 基于自监督对比学习目标，在超大型句子级数据集上训练。
• 以预训练的 'MiniLM-L6-H384-uncased' 模型为基础进行微调。
• 输出的句子向量可用于信息检索、聚类或句子相似度任务。

📚 详细文档

模型描述

本项目旨在使用自监督对比学习目标，在超大型句子级数据集上训练句子嵌入模型。我们使用了预训练的 'MiniLM-L6-H384-uncased' 模型，并在 10 亿个句子对数据集上进行了微调。我们采用对比学习目标：给定一对句子中的一个句子，模型应从一组随机采样的其他句子中预测出在数据集中实际与之配对的句子。

我们在由 Hugging Face 组织的 社区周：使用 JAX/Flax 进行自然语言处理和计算机视觉 期间开发了此模型。该模型是项目 使用 10 亿个训练对训练有史以来最好的句子嵌入模型 的一部分。我们受益于高效的硬件基础设施来运行该项目：7 个 TPU v3 - 8，以及谷歌的 Flax、JAX 和云团队成员在高效深度学习框架方面的指导。

预期用途

我们的模型旨在用作句子编码器。给定输入句子，它会输出一个捕获句子语义信息的向量。该句子向量可用于信息检索、聚类或句子相似度任务。

训练过程

预训练

我们使用预训练的 'MiniLM-L6-H384-uncased' 模型，它是 'microsoft/MiniLM-L12-H384-uncased' 的 6 层版本，只保留了每隔一层。有关预训练过程的更详细信息，请参考模型卡片。

微调

我们使用对比目标对模型进行微调。形式上，我们计算批次中每个可能句子对的余弦相似度，然后通过与真实对进行比较来应用交叉熵损失。

超参数

我们在 TPU v3 - 8 上训练模型。我们使用 1024 的批量大小（每个 TPU 核心 128）进行了 540k 步的训练。我们使用了 500 的学习率预热。序列长度限制为 128 个标记。我们使用了 AdamW 优化器，学习率为 2e - 5。完整的训练脚本可在当前存储库中找到。

训练数据

我们使用多个数据集的组合来微调模型。句子对的总数超过 10 亿个。我们根据加权概率对每个数据集进行采样，具体配置在 data_config.json 文件中详细说明。