SGPT-5.8B開源句子轉換器模型 - 免費部署助力句子相似度任務

首頁

SGPT 5.8B Weightedmean Msmarco Specb Bitfit

由Muennighoff開發

SGPT-5.8B是一個基於加權平均方法的句子轉換器模型，專注於句子相似度任務，採用msmarco數據集訓練並應用specb-bitfit技術優化

文本嵌入

PyTorch

#句子相似度計算 #多任務評估 #高精度語義匹配

下載量 164

發布時間 : 3/2/2022

模型概述

該模型主要用於句子相似度計算和特徵提取，在MTEB基準測試中表現出色，支持多種自然語言處理任務

模型特點

加權平均方法

採用加權平均技術整合句子表示，提升語義理解能力

msmarco數據集訓練

使用大規模msmarco數據集進行訓練，增強模型泛化能力

specb-bitfit優化

應用specb-bitfit技術進行模型優化，提高計算效率

多任務性能

在MTEB基準測試的多種任務中表現優異

模型能力

句子相似度計算

文本特徵提取

語義檢索

文本分類

聚類分析

問答重排序

使用案例

電子商務

產品評論分類

對Amazon產品評論進行情感分析和分類

在MTEB Amazon評論分類任務中達到39.19%準確率

反事實分析

識別Amazon平臺上的反事實評論

在MTEB Amazon反事實分類任務中達到69.22%準確率

學術研究

論文聚類

對arXiv和BioRxiv學術論文進行主題聚類

在arXiv P2P聚類任務中V度量達到45.59

技術支持

重複問題檢測

識別AskUbuntu論壇中的重複技術問題

重排序任務中平均精度達到61.63%

🚀 SGPT-5.8B-weightedmean-msmarco-specb-bitfit

SGPT-5.8B-weightedmean-msmarco-specb-bitfit 是一個用於句子相似度任務的模型，在多個分類、檢索、聚類等任務的數據集上進行了測試，並展示了相應的性能指標。

📚 詳細文檔

模型基本信息

屬性	詳情
模型類型	用於句子相似度的模型，屬於 sentence-transformers 類別，可進行特徵提取
標籤	sentence-transformers、feature-extraction、sentence-similarity、mteb

模型評估結果

該模型在多個任務和數據集上進行了評估，以下是詳細的評估結果：

分類任務

數據集	任務類型	準確率	AP	F1
MTEB AmazonCounterfactualClassification (en)	Classification	69.22388059701493	32.04724673950256	63.25719825770428
MTEB AmazonPolarityClassification	Classification	71.26109999999998	66.16336378255403	70.89719145825303
MTEB AmazonReviewsClassification (en)	Classification	39.19199999999999	-	38.580766731113826
MTEB Banking77Classification	Classification	84.49350649350649	-	84.4249343233736

檢索任務

數據集	任務類型	MAP@1	MAP@10	MAP@100	MAP@1000	MRR@1	MRR@10	MRR@100	MRR@1000	NDCG@1	NDCG@10	NDCG@100	NDCG@1000	準確率@1	準確率@10	準確率@100	準確率@1000	召回率@1	召回率@10	召回率@100	召回率@1000
MTEB ArguAna	Retrieval	27.311999999999998	42.620000000000005	43.707	43.714999999999996	27.667	42.737	43.823	43.830999999999996	27.311999999999998	51.37500000000001	55.778000000000006	55.96600000000001	27.311999999999998	7.945	0.9820000000000001	0.1	27.311999999999998	79.445	98.151	99.57300000000001
MTEB CQADupstackAndroidRetrieval	Retrieval	30.499	41.208	42.638	42.754	37.339	47.051	47.745	47.786	37.339	47.666	52.994	54.928999999999995	37.339	9.127	1.4749999999999999	0.194	30.499	60.328	82.57900000000001	95.074
MTEB CQADupstackEnglishRetrieval	Retrieval	30.613	40.781	42.018	42.132999999999996	38.408	46.631	47.332	47.368	38.408	46.379999999999995	50.81	52.663000000000004	38.408	8.656	1.3860000000000001	0.184	30.613	56.44	75.044	86.426
MTEB CQADupstackGamingRetrieval	Retrieval	37.370999999999995	49.718	50.737	50.79	42.884	53.176	53.81700000000001	53.845	42.884	55.826	59.93000000000001	61.013	42.884	9.046999999999999	1.212	0.135	37.370999999999995	70.482	88.425	96.03399999999999
MTEB CQADupstackGisRetrieval	Retrieval	22.875999999999998	31.715	32.847	32.922000000000004	24.52	33.497	34.455000000000005	34.510000000000005	24.52	36.95	42.238	44.147999999999996	24.52	5.9319999999999995	0.901	0.11	22.875999999999998	51.38	75.31099999999999	89.718
MTEB CQADupstackMathematicaRetrieval	Retrieval	14.984	23.457	24.723	24.846	18.159	27.431	28.449	28.52	18.159	28.627999999999997	34.741	37.516	18.159	5.485	0.985	0.136	14.984	40.198	67.11500000000001	86.497
MTEB CQADupstackPhysicsRetrieval	Retrieval	29.067	39.457	40.83	40.94	34.937000000000005	44.755	45.549	45.589	34.937000000000005	45.573	51.266999999999996	53.184	34.937000000000005	8.296000000000001	1.32	0.167	29.067	58.298	82.25099999999999	94.476
MTEB CQADupstackProgrammersRetrieval	Retrieval	25.985999999999997	35.746	37.067	37.191	31.735000000000003	40.515	41.459	41.516	31.735000000000003	41.484	47.047	49.427	31.735000000000003	7.66	1.234	0.16	25.985999999999997	53.761	77.149	93.342
MTEB CQADupstackRetrieval	Retrieval	24.949749999999998	34.04991666666667	35.26825	35.38316666666667	29.402833333333334	38.01633333333333	38.88033333333334	38.938500000000005	29.402833333333334	39.403166666666664	44.66408333333333	46.96283333333333	29.402833333333334	6.965833333333333	1.1330833333333334	0.15158333333333335	24.949749999999998	51.29325	74.3695	90.31299999999999
MTEB CQADupstackStatsRetrieval	Retrieval	22.081999999999997	29.215999999999998	30.163	30.269000000000002	24.847	31.918999999999997	32.817	32.897	24.847	33.4	38.354	41.045	24.847	5.353	0.853	0.116	22.081999999999997	51.29325	74.3695	90.31299999999999

聚類任務

數據集	任務類型	V-measure
MTEB ArxivClusteringP2P	Clustering	45.59037428592033
MTEB ArxivClusteringS2S	Clustering	38.86371701986363
MTEB BiorxivClusteringP2P	Clustering	36.551459722989385
MTEB BiorxivClusteringS2S	Clustering	33.69901851846774