SGPT-5.8B開源模型 - 用於句子相似度計算和特徵提取，免費部署！

首頁

SGPT 5.8B Weightedmean Nli Bitfit

由Muennighoff開發

SGPT-5.8B是一個基於5.8B參數規模的句子轉換器模型，通過加權平均和NLI（自然語言推理）微調優化，專門用於句子相似度計算和特徵提取任務。

文本嵌入

PyTorch

#多語言句子相似度 #NLI微調 #大規模特徵提取

下載量 86

發布時間 : 3/2/2022

模型概述

該模型主要用於句子相似度計算和特徵提取，在MTEB（Massive Text Embedding Benchmark）多個任務上表現出色，支持多種語言和跨語言任務。

模型特點

多語言支持

支持多種語言的句子相似度計算和特徵提取，包括英語、德語、法語、西班牙語、日語和中文等。

高性能

在MTEB多個任務上表現優異，尤其在句子相似度和分類任務中取得高分。

NLI微調

通過自然語言推理（NLI）任務微調，提升了模型在句子相似度和語義理解方面的能力。

模型能力

句子相似度計算

特徵提取

文本分類

跨語言文本挖掘

語義檢索

使用案例

電子商務

產品評論分類

用於對亞馬遜等電商平臺的產品評論進行情感分析和分類。

在MTEB Amazon極性分類任務中達到82.31%的準確率。

信息檢索

問答系統

用於問答系統中的相似問題檢索和答案匹配。

在AskUbuntu重複問題任務中達到55.90的平均精度。

跨語言應用

雙語文本挖掘

用於跨語言文本匹配和對齊任務。

在BUCC德語-英語任務中達到75.49%的準確率。

🚀 SGPT-5.8B-weightedmean-nli-bitfit

SGPT-5.8B-weightedmean-nli-bitfit 是一個用於句子相似度任務的模型，它在多個數據集上進行了測試，展示了在分類、檢索、聚類等多種自然語言處理任務中的性能表現。

📚 詳細文檔

模型信息

屬性	詳情
管道標籤	句子相似度
標籤	句子轉換器、特徵提取、句子相似度、MTEB
模型名稱	SGPT-5.8B-weightedmean-nli-bitfit

評估結果

分類任務

數據集	配置	準確率	AP	F1
MTEB AmazonCounterfactualClassification (en)	en	74.07462686567165	37.44692407529112	68.28971003916419
MTEB AmazonCounterfactualClassification (de)	de	66.63811563169165	78.57252079915924	64.5543087846584
MTEB AmazonCounterfactualClassification (en-ext)	en-ext	77.21889055472263	25.663426367826712	64.26265688503176
MTEB AmazonCounterfactualClassification (ja)	ja	58.06209850107067	14.028219107023915	48.10387189660778
MTEB AmazonPolarityClassification	default	82.30920000000002	76.88786578621213	82.15455656065011
MTEB AmazonReviewsClassification (en)	en	41.584	-	41.203137944390114
MTEB AmazonReviewsClassification (de)	de	35.288000000000004	-	34.672995558518096
MTEB AmazonReviewsClassification (es)	es	38.34	-	37.608755629529455
MTEB AmazonReviewsClassification (fr)	fr	37.839999999999996	-	36.86898201563507
MTEB AmazonReviewsClassification (ja)	ja	30.936000000000003	-	30.49401738527071
MTEB AmazonReviewsClassification (zh)	zh	33.75	-	33.38338946025617
MTEB Banking77Classification	default	81.74025974025973	-	81.66568824876

檢索任務

數據集	配置	MAP@1	MAP@10	MAP@100	MAP@1000	MAP@3	MAP@5	NDCG@1	NDCG@10	NDCG@100	NDCG@1000	NDCG@3	NDCG@5	Precision@1	Precision@10	Precision@100	Precision@1000	Precision@3	Precision@5	Recall@1	Recall@10	Recall@100	Recall@1000	Recall@3	Recall@5
MTEB ArguAna	default	13.727	26.740000000000002	28.218	28.246	21.728	24.371000000000002	13.727	35.07	41.947	42.649	24.484	29.282999999999998	13.727	6.223	0.9369999999999999	0.099	10.835	8.848	13.727	62.233000000000004	93.67	99.14699999999999	32.504	44.239
MTEB CQADupstackAndroidRetrieval	default	26.715	35.007	36.352000000000004	36.51	32.257999999999996	33.595000000000006	33.906	40.353	45.562999999999995	48.454	36.349	37.856	33.906	7.854	1.29	0.188	17.549	12.561	26.715	49.508	71.76599999999999	91.118	37.356	41.836
MTEB CQADupstackEnglishRetrieval	default	19.663	27.086	28.066999999999997	28.18	24.819	26.332	25.732	31.613999999999997	35.757	38.21	28.332	30.264000000000003	25.732	6.038	1.034	0.149	13.864	10.241999999999999	19.663	39.585	57.718	74.26700000000001	29.845	35.105
MTEB CQADupstackGamingRetrieval	default	30.125	39.824	40.935	41.019	37.144	38.647999999999996	34.922	45.072	50.046	51.895	40.251	42.581	34.922	7.303999999999999	1.0739999999999998	0.13	17.994	12.475999999999999	30.125	57.253	79.35799999999999	92.523	44.088	49.893
MTEB CQADupstackGisRetrieval	default	16.298000000000002	21.479	22.387	22.483	19.743	20.444000000000003	17.740000000000002	24.887	29.544999999999998	32.417	21.274	22.399	17.740000000000002	3.932	0.666	0.094	8.927	6.056	16.298000000000002	34.031	55.769000000000005	78.19500000000001	23.799999999999997	26.562
MTEB CQADupstackMathematicaRetrieval	default	10.958	16.999	17.979	18.112000000000002	15.010000000000002	16.256999999999998	14.179	20.985	26.216	29.675	17.28	19.301	14.179	3.968	0.784	0.121	8.541	6.468	10.958	29.903000000000002	53.413	78.74799999999999	19.717000000000002	24.817
MTEB CQADupstackPhysicsRetrieval	default	21.217	29.677	30.928	31.063000000000002	26.611	28.463	26.083000000000002	35.217	40.715	43.559	30.080000000000002	32.701	26.083000000000002	6.622	1.115	0.156	14.629	10.837	21.217	47.031	70.378	89.704	32.427	39.31
MTEB CQADupstackProgrammersRetrieval	default	19.274	26.398	27.711000000000002	27.833000000000002	24.294	25.385	24.886	30.909	36.941	39.838	27.455000000000002	28.828	24.886	5.6739999999999995	1.0290000000000001	0.146	13.242	9.292	19.274	39.643	66.091	86.547	29.602	33.561
MTEB CQADupstackRetrieval	default	18.653666666666666	25.606666666666666	26.669333333333334	26.795833333333334	23.43433333333333	24.609666666666666	22.742083333333333	29.978333333333335	34.89808333333333	37.806583333333336	26.223666666666674	27.91033333333333	22.742083333333333	-	-	-	-	-	18.653666666666666	-	-	-	-	-

聚類任務

數據集	配置	V-measure
MTEB ArxivClusteringP2P	default	40.553923271901695
MTEB ArxivClusteringS2S	default	32.49323183712211
MTEB BiorxivClusteringP2P	default	33.59451202614059
MTEB BiorxivClusteringS2S	default	29.128241446157165

重排序任務

數據集	配置	MAP	MRR
MTEB AskUbuntuDupQuestions	default	55.89811361443445	70.16235764850724

STS任務

數據集	配置	餘弦相似度皮爾遜相關係數	餘弦相似度斯皮爾曼相關係數	歐幾里得距離皮爾遜相關係數	歐幾里得距離斯皮爾曼相關係數	曼哈頓距離皮爾遜相關係數	曼哈頓距離斯皮爾曼相關係數
MTEB BIOSSES	default	82.50506557805856	79.50000423261176	75.76190885392926	76.7330737163434	75.825318036112	76.7415076434559

雙語挖掘任務

數據集	配置	準確率	F1	精確率	召回率
MTEB BUCC (de-en)	de-en	75.49060542797494	75.15379262352123	74.99391092553932	75.49060542797494
MTEB BUCC (fr-en)	fr-en	0.4182258419546555	0.4182258419546555	0.4182258419546555	0.4182258419546555
MTEB BUCC (ru-en)	ru-en	0.013855213023900243	0.0115460108532502	0.010391409767925183	0.013855213023900243
MTEB BUCC (zh-en)	zh-en	0.315955766192733	0.315955766192733	0.315955766192733	0.315955766192733