SGPT-5.8B开源模型 - 用于句子相似度计算和特征提取，免费部署！

首页

SGPT 5.8B Weightedmean Nli Bitfit

由 Muennighoff 开发

SGPT-5.8B是一个基于5.8B参数规模的句子转换器模型，通过加权平均和NLI（自然语言推理）微调优化，专门用于句子相似度计算和特征提取任务。

文本嵌入

PyTorch

#多语言句子相似度 #NLI微调 #大规模特征提取

下载量 86

发布时间 : 3/2/2022

模型简介

该模型主要用于句子相似度计算和特征提取，在MTEB（Massive Text Embedding Benchmark）多个任务上表现出色，支持多种语言和跨语言任务。

模型特点

多语言支持

支持多种语言的句子相似度计算和特征提取，包括英语、德语、法语、西班牙语、日语和中文等。

高性能

在MTEB多个任务上表现优异，尤其在句子相似度和分类任务中取得高分。

NLI微调

通过自然语言推理（NLI）任务微调，提升了模型在句子相似度和语义理解方面的能力。

模型能力

句子相似度计算

特征提取

文本分类

跨语言文本挖掘

语义检索

使用案例

电子商务

产品评论分类

用于对亚马逊等电商平台的产品评论进行情感分析和分类。

在MTEB Amazon极性分类任务中达到82.31%的准确率。

信息检索

问答系统

用于问答系统中的相似问题检索和答案匹配。

在AskUbuntu重复问题任务中达到55.90的平均精度。

跨语言应用

双语文本挖掘

用于跨语言文本匹配和对齐任务。

在BUCC德语-英语任务中达到75.49%的准确率。

🚀 SGPT-5.8B-weightedmean-nli-bitfit

SGPT-5.8B-weightedmean-nli-bitfit 是一个用于句子相似度任务的模型，它在多个数据集上进行了测试，展示了在分类、检索、聚类等多种自然语言处理任务中的性能表现。

📚 详细文档

模型信息

属性	详情
管道标签	句子相似度
标签	句子转换器、特征提取、句子相似度、MTEB
模型名称	SGPT-5.8B-weightedmean-nli-bitfit

评估结果

分类任务

数据集	配置	准确率	AP	F1
MTEB AmazonCounterfactualClassification (en)	en	74.07462686567165	37.44692407529112	68.28971003916419
MTEB AmazonCounterfactualClassification (de)	de	66.63811563169165	78.57252079915924	64.5543087846584
MTEB AmazonCounterfactualClassification (en-ext)	en-ext	77.21889055472263	25.663426367826712	64.26265688503176
MTEB AmazonCounterfactualClassification (ja)	ja	58.06209850107067	14.028219107023915	48.10387189660778
MTEB AmazonPolarityClassification	default	82.30920000000002	76.88786578621213	82.15455656065011
MTEB AmazonReviewsClassification (en)	en	41.584	-	41.203137944390114
MTEB AmazonReviewsClassification (de)	de	35.288000000000004	-	34.672995558518096
MTEB AmazonReviewsClassification (es)	es	38.34	-	37.608755629529455
MTEB AmazonReviewsClassification (fr)	fr	37.839999999999996	-	36.86898201563507
MTEB AmazonReviewsClassification (ja)	ja	30.936000000000003	-	30.49401738527071
MTEB AmazonReviewsClassification (zh)	zh	33.75	-	33.38338946025617
MTEB Banking77Classification	default	81.74025974025973	-	81.66568824876

检索任务

数据集	配置	MAP@1	MAP@10	MAP@100	MAP@1000	MAP@3	MAP@5	NDCG@1	NDCG@10	NDCG@100	NDCG@1000	NDCG@3	NDCG@5	Precision@1	Precision@10	Precision@100	Precision@1000	Precision@3	Precision@5	Recall@1	Recall@10	Recall@100	Recall@1000	Recall@3	Recall@5
MTEB ArguAna	default	13.727	26.740000000000002	28.218	28.246	21.728	24.371000000000002	13.727	35.07	41.947	42.649	24.484	29.282999999999998	13.727	6.223	0.9369999999999999	0.099	10.835	8.848	13.727	62.233000000000004	93.67	99.14699999999999	32.504	44.239
MTEB CQADupstackAndroidRetrieval	default	26.715	35.007	36.352000000000004	36.51	32.257999999999996	33.595000000000006	33.906	40.353	45.562999999999995	48.454	36.349	37.856	33.906	7.854	1.29	0.188	17.549	12.561	26.715	49.508	71.76599999999999	91.118	37.356	41.836
MTEB CQADupstackEnglishRetrieval	default	19.663	27.086	28.066999999999997	28.18	24.819	26.332	25.732	31.613999999999997	35.757	38.21	28.332	30.264000000000003	25.732	6.038	1.034	0.149	13.864	10.241999999999999	19.663	39.585	57.718	74.26700000000001	29.845	35.105
MTEB CQADupstackGamingRetrieval	default	30.125	39.824	40.935	41.019	37.144	38.647999999999996	34.922	45.072	50.046	51.895	40.251	42.581	34.922	7.303999999999999	1.0739999999999998	0.13	17.994	12.475999999999999	30.125	57.253	79.35799999999999	92.523	44.088	49.893
MTEB CQADupstackGisRetrieval	default	16.298000000000002	21.479	22.387	22.483	19.743	20.444000000000003	17.740000000000002	24.887	29.544999999999998	32.417	21.274	22.399	17.740000000000002	3.932	0.666	0.094	8.927	6.056	16.298000000000002	34.031	55.769000000000005	78.19500000000001	23.799999999999997	26.562
MTEB CQADupstackMathematicaRetrieval	default	10.958	16.999	17.979	18.112000000000002	15.010000000000002	16.256999999999998	14.179	20.985	26.216	29.675	17.28	19.301	14.179	3.968	0.784	0.121	8.541	6.468	10.958	29.903000000000002	53.413	78.74799999999999	19.717000000000002	24.817
MTEB CQADupstackPhysicsRetrieval	default	21.217	29.677	30.928	31.063000000000002	26.611	28.463	26.083000000000002	35.217	40.715	43.559	30.080000000000002	32.701	26.083000000000002	6.622	1.115	0.156	14.629	10.837	21.217	47.031	70.378	89.704	32.427	39.31
MTEB CQADupstackProgrammersRetrieval	default	19.274	26.398	27.711000000000002	27.833000000000002	24.294	25.385	24.886	30.909	36.941	39.838	27.455000000000002	28.828	24.886	5.6739999999999995	1.0290000000000001	0.146	13.242	9.292	19.274	39.643	66.091	86.547	29.602	33.561
MTEB CQADupstackRetrieval	default	18.653666666666666	25.606666666666666	26.669333333333334	26.795833333333334	23.43433333333333	24.609666666666666	22.742083333333333	29.978333333333335	34.89808333333333	37.806583333333336	26.223666666666674	27.91033333333333	22.742083333333333	-	-	-	-	-	18.653666666666666	-	-	-	-	-

聚类任务

数据集	配置	V-measure
MTEB ArxivClusteringP2P	default	40.553923271901695
MTEB ArxivClusteringS2S	default	32.49323183712211
MTEB BiorxivClusteringP2P	default	33.59451202614059
MTEB BiorxivClusteringS2S	default	29.128241446157165

重排序任务

数据集	配置	MAP	MRR
MTEB AskUbuntuDupQuestions	default	55.89811361443445	70.16235764850724

STS任务

数据集	配置	余弦相似度皮尔逊相关系数	余弦相似度斯皮尔曼相关系数	欧几里得距离皮尔逊相关系数	欧几里得距离斯皮尔曼相关系数	曼哈顿距离皮尔逊相关系数	曼哈顿距离斯皮尔曼相关系数
MTEB BIOSSES	default	82.50506557805856	79.50000423261176	75.76190885392926	76.7330737163434	75.825318036112	76.7415076434559

双语挖掘任务

数据集	配置	准确率	F1	精确率	召回率
MTEB BUCC (de-en)	de-en	75.49060542797494	75.15379262352123	74.99391092553932	75.49060542797494
MTEB BUCC (fr-en)	fr-en	0.4182258419546555	0.4182258419546555	0.4182258419546555	0.4182258419546555
MTEB BUCC (ru-en)	ru-en	0.013855213023900243	0.0115460108532502	0.010391409767925183	0.013855213023900243
MTEB BUCC (zh-en)	zh-en	0.315955766192733	0.315955766192733	0.315955766192733	0.315955766192733