Stackoverflow Mpnet Base

🚀 stackoverflow_mpnet-base

stackoverflow_mpnet-base是一個基於StackOverflow數據訓練的模型，可用於句子相似度計算、語義搜索等任務，能有效提取句子的語義信息。

🚀 快速開始

本模型旨在作為搜索引擎的句子編碼器。給定輸入句子，它會輸出一個捕獲句子語義信息的向量。該句子向量可用於語義搜索、聚類或句子相似度任務。

✨ 主要特性

• 強大的語義理解能力：能夠準確捕捉句子的語義信息，輸出高質量的句子向量。
• 廣泛的應用場景：適用於語義搜索、聚類和句子相似度等多種任務。
• 基於大規模數據訓練：使用了StackOverflow的18,562,443個（標題，正文）對進行訓練。

📦 安裝指南

使用此模型，你需要安裝SentenceTransformers庫。可以使用以下命令進行安裝：

pip install sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/stackoverflow_mpnet-base')
text = "Replace me by any question / answer you'd like."
text_embbedding = model.encode(text)
# array([-0.01559514,  0.04046123,  0.1317083 ,  0.00085931,  0.04585106,
#        -0.05607086,  0.0138078 ,  0.03569756,  0.01420381,  0.04266302 ...],
#        dtype=float32)

高級用法

# 可以將模型應用於批量文本處理
from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flax-sentence-embeddings/stackoverflow_mpnet-base')
texts = ["This is the first sentence.", "And this is the second one."]
text_embeddings = model.encode(texts)
# 輸出批量文本的向量表示

📚 詳細文檔

訓練過程

預訓練

我們使用了預訓練的 microsoft/mpnet-base 模型。有關預訓練過程的更多詳細信息，請參考該模型的卡片。

微調

我們使用對比目標對模型進行微調。具體來說，我們計算批次中每個可能的句子對的餘弦相似度，然後通過與真實對進行比較來應用交叉熵損失。

超參數

• 硬件環境：在TPU v3 - 8上進行訓練。
• 訓練步數：80k步。
• 批次大小：1024（每個TPU核心128）。
• 學習率預熱：500。
• 序列長度：限制為128個標記。
• 優化器：使用AdamW優化器，學習率為2e - 5。

完整的訓練腳本可在當前倉庫中找到。

訓練數據

我們使用了StackOverflow的18,562,443個（標題，正文）對作為訓練數據。

預期用途

我們的模型旨在用作搜索引擎的句子編碼器。給定輸入句子，它會輸出一個捕獲句子語義信息的向量。該句子向量可用於語義搜索、聚類或句子相似度任務。

開發背景

我們在由Hugging Face組織的 社區周：使用JAX/Flax進行NLP和CV 期間開發了此模型。該模型是項目 使用10億訓練對訓練有史以來最好的句子嵌入模型 的一部分。我們受益於高效的硬件基礎設施（7個TPU v3 - 8）以及Google的Flax、JAX和雲團隊成員在高效深度學習框架方面的幫助。