All Datasets V3 Roberta Large

🚀 句子相似度模型

本项目旨在使用自监督对比学习目标，在超大规模的句子级数据集上训练句子嵌入模型。通过微调预训练模型，该项目能够输出捕捉句子语义信息的向量，可用于信息检索、聚类或句子相似度任务。

🚀 快速开始

本模型旨在用作句子编码器。给定输入句子，它会输出一个捕捉句子语义信息的向量。该句子向量可用于信息检索、聚类或句子相似度任务。

✨ 主要特性

• 大规模数据集训练：使用超过10亿个句子对的数据集进行微调，确保模型能够学习到丰富的语义信息。
• 高效硬件支持：借助7个TPU v3-8进行训练，并得到Google的Flax、JAX和云团队成员关于高效深度学习框架的支持。
• 广泛的应用场景：输出的句子向量可用于信息检索、聚类或句子相似度任务。

📦 安装指南

使用此模型获取给定文本的特征，你可以使用 SentenceTransformers 库。

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/all_datasets_v3_roberta-large')
text = "Replace me by any text you'd like."
text_embbedding = model.encode(text)
# array([-0.01559514,  0.04046123,  0.1317083 ,  0.00085931,  0.04585106,
#        -0.05607086,  0.0138078 ,  0.03569756,  0.01420381,  0.04266302 ...],
#        dtype=float32)

🔧 技术细节

模型训练

项目使用自监督对比学习目标，在大规模句子级数据集上训练句子嵌入模型。具体步骤如下：

1. 预训练模型：使用预训练的 roberta-large 模型。
2. 微调模型：在超过10亿个句子对的数据集上进行微调，使用对比学习目标，即给定一对句子中的一个，模型应预测出在数据集中实际与之配对的句子。

超参数设置

• 训练步数：540k步
• 批次大小：1024（每个TPU核心128）
• 学习率预热：500
• 序列长度：128个标记
• 优化器：AdamW，学习率为2e-5

训练数据

模型使用多个数据集的组合进行微调，总句子对数超过10亿。每个数据集的采样概率在 data_config.json 文件中详细配置。