All Datasets V3 Roberta Large

🚀 句子相似度模型

本項目旨在使用自監督對比學習目標，在超大規模的句子級數據集上訓練句子嵌入模型。通過微調預訓練模型，該項目能夠輸出捕捉句子語義信息的向量，可用於信息檢索、聚類或句子相似度任務。

🚀 快速開始

本模型旨在用作句子編碼器。給定輸入句子，它會輸出一個捕捉句子語義信息的向量。該句子向量可用於信息檢索、聚類或句子相似度任務。

✨ 主要特性

• 大規模數據集訓練：使用超過10億個句子對的數據集進行微調，確保模型能夠學習到豐富的語義信息。
• 高效硬件支持：藉助7個TPU v3-8進行訓練，並得到Google的Flax、JAX和雲團隊成員關於高效深度學習框架的支持。
• 廣泛的應用場景：輸出的句子向量可用於信息檢索、聚類或句子相似度任務。

📦 安裝指南

使用此模型獲取給定文本的特徵，你可以使用 SentenceTransformers 庫。

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/all_datasets_v3_roberta-large')
text = "Replace me by any text you'd like."
text_embbedding = model.encode(text)
# array([-0.01559514,  0.04046123,  0.1317083 ,  0.00085931,  0.04585106,
#        -0.05607086,  0.0138078 ,  0.03569756,  0.01420381,  0.04266302 ...],
#        dtype=float32)

🔧 技術細節

模型訓練

項目使用自監督對比學習目標，在大規模句子級數據集上訓練句子嵌入模型。具體步驟如下：

1. 預訓練模型：使用預訓練的 roberta-large 模型。
2. 微調模型：在超過10億個句子對的數據集上進行微調，使用對比學習目標，即給定一對句子中的一個，模型應預測出在數據集中實際與之配對的句子。

超參數設置

• 訓練步數：540k步
• 批次大小：1024（每個TPU核心128）
• 學習率預熱：500
• 序列長度：128個標記
• 優化器：AdamW，學習率為2e-5

訓練數據

模型使用多個數據集的組合進行微調，總句子對數超過10億。每個數據集的採樣概率在 data_config.json 文件中詳細配置。