Speed Embedding 7B Instruct開源語言模型 - 高效完成文本嵌入與分類任務

首頁

Speed Embedding 7b Instruct

由Haon-Chen開發

Speed Embedding 7B Instruct 是一個基於 Transformer 架構的大規模語言模型，專注於文本嵌入和分類任務，在多個基準測試中表現出色。

大型語言模型

Transformers

英語開源協議:MIT #多任務文本嵌入 #高準確率分類 #檢索優化

下載量 37

發布時間 : 10/31/2024

模型概述

該模型主要用於文本分類、檢索和聚類任務，支持多種自然語言處理應用，具有較高的準確性和效率。

模型特點

高性能文本分類

在多個文本分類任務中表現出色，如 Amazon 評論分類和情感分析。

強大的檢索能力

在多個檢索任務中表現優異，支持高精度文檔檢索和問答系統。

高效的聚類能力

能夠有效處理大規模文本聚類任務，如學術論文和生物醫學文獻聚類。

模型能力

文本分類

文本檢索

文本聚類

情感分析

問答系統

使用案例

電子商務

產品評論分類

用於對 Amazon 產品評論進行正面和負面分類。

準確率高達 96.18%

信息檢索

文檔檢索

用於從大規模文檔庫中檢索相關文檔。

在多個檢索任務中表現優異

學術研究

論文聚類

用於對學術論文進行主題聚類。

V-measure 達到 51.12%

🚀 speed-embedding-7b-instruct

speed-embedding-7b-instruct 模型在多個自然語言處理任務上進行了評估，涵蓋分類、檢索、聚類、重排序和語義文本相似度等多種類型，使用了豐富的數據集，為模型性能提供了多維度的評估視角。

📚 詳細文檔

1. 模型標籤

標籤: mteb, transformers

2. 模型評估結果

分類任務

數據集類型	數據集名稱	準確率	AP	F1
`mteb/amazon_counterfactual`	MTEB AmazonCounterfactualClassification (en)	76.67164179104478	39.07181577576136	70.25085237742982
`mteb/amazon_polarity`	MTEB AmazonPolarityClassification	96.1775	94.84308844303422	96.17546959843244
`mteb/amazon_reviews_multi`	MTEB AmazonReviewsClassification (en)	56.278000000000006	-	55.45101875980304
`mteb/emotion`	MTEB EmotionClassification	51.025	-	47.08253474922065
`mteb/imdb`	MTEB ImdbClassification	94.87799999999999	92.5831019543702	94.87675087619891
`mteb/mtop_domain`	MTEB MTOPDomainClassification (en)	95.84587323301413	-	95.69948889844318
`mteb/mtop_intent`	MTEB MTOPIntentClassification (en)	87.08162334701322	-	72.237783326283
`mteb/amazon_massive_intent`	MTEB MassiveIntentClassification (en)	80.19502353732346	-	77.732184986995
`mteb/amazon_massive_scenario`	MTEB MassiveScenarioClassification (en)	82.26630800268998	-	82.12747916248556

檢索任務

數據集類型	數據集名稱	NDCG@1	NDCG@3	NDCG@5	NDCG@10	NDCG@100	MAP@1	MAP@3	MAP@5	MAP@10	MAP@100	召回率@1	召回率@3	召回率@5	召回率@10	召回率@100	準確率@1	準確率@3	準確率@5	準確率@10	準確率@100	MRR@1	MRR@3	MRR@5	MRR@10	MRR@100
`arguana`	MTEB ArguAna	33.642	49.399	54.108999999999995	59.294999999999995	62.015	33.642	45.507	48.1	50.248000000000005	50.954	33.642	60.669	72.191	88.193	99.431	33.642	20.223	14.438	8.819	0.9939999999999999	33.997	45.614	48.263	50.388999999999996	51.102000000000004
`BeIR/cqadupstack`	MTEB CQADupstackRetrieval	30.904666666666664	36.32808333333333	38.767250000000004	41.62008333333333	47.118083333333324	25.7645	32.6235	34.347	35.79658333333333	37.10391666666666	25.7645	39.622666666666674	45.938750000000006	54.43816666666667	78.66183333333333	30.904666666666664	17.099083333333333	12.278416666666669	7.573083333333335	1.22275	30.904666666666664	37.458333333333336	38.97333333333333	40.10316666666666	41.004250000000006
`climate-fever`	MTEB ClimateFEVER	38.046	31.842	33.698	37.765	44.998	16.682	23.624000000000002	25.812	28.017999999999997	30.064999999999998	16.682	28.338	34.486	43.474000000000004	67.984	38.046	23.779	17.849999999999998	11.642	1.9429999999999998	38.046	46.764	48.722	49.976	50.693999999999996
`dbpedia-entity`	MTEB DBPedia	63.24999999999999	54.005	51.504000000000005	49.738	54.754000000000005	10.639	16.726	20.101	24.569	35.221999999999994	10.639	17.861	22.642	30.105999999999998	60.92999999999999	75.0	58.083	50.0	40.35	12.659999999999998	75.0	80.042	80.779	81.355	81.58
`fever`	MTEB FEVER	82.163	86.835	87.802	88.529	89.17	76.335	83.91499999999999	84.64500000000001	85.058	85.257	76.335	90.608	93.098	95.173	97.59299999999999	82.163	33.257999999999996	20.654	10.674999999999999	1.122	82.163	88.346	88.791	88.97699999999999	89.031
`fiqa`	MTEB FiQA2018	55.093	52.481	53.545	56.053	62.53999999999999	29.189999999999998	42.603	45.855000000000004	48.241	50.300999999999995	29.189999999999998	47.471999999999994	54.384	62.731	86.02300000000001	55.093	34.979	25.278	15.231	2.2190000000000003	55.093	61.317	62.358999999999995	63.165000000000006	63.81
`hotpotqa`	MTEB HotpotQA	78.866	70.128	73.017	75.166	77.97500000000001	39.433	64.165	66.503	67.822	68.675	39.433	69.03399999999999	74.74	80.108	90.81700000000001	78.866	46.022999999999996	29.896	16.022	1.8159999999999998	78.866	83.91	84.473	84.769	84.953
`msmarco`	MTEB MSMARCO	23.195	34.419	38.665	42.549	48.256	22.508	31.346	33.73	35.365	36.568	22.508	42.63	52.827999999999996	64.645	90.852	23.195	14.752	11.0	6.755	0.96	23.195	32.042	34.388000000000005	35.974000000000004	37.114000000000004
`nfcorpus`	MTEB NFCorpus	47.522999999999996	44.489000000000004	41.92	38.738	35.46	5.357	10.537	12.062000000000001	14.264	18.442	5.357	12.499	14.809	18.765	36.779	49.226	41.899	36.718	29.287999999999997	9.22	49.845	57.121	58.172999999999995	58.906000000000006	59.486000000000004
`nq`	MTEB NQ	42.815999999999995	53.766999999999996	57.957	61.661	65.218	38.364	49.782	52.319	54.07300000000001	-	38.364	-	-	-	-	42.815999999999995	-	-	-	-	42.815999999999995	-	-	-	-

聚類任務

數據集類型	數據集名稱	V-measure
`mteb/arxiv-clustering-p2p`	MTEB ArxivClusteringP2P	51.1249344529392
`mteb/arxiv-clustering-s2s`	MTEB ArxivClusteringS2S	47.01575217563573
`mteb/biorxiv-clustering-p2p`	MTEB BiorxivClusteringP2P	41.99753263006505
`mteb/biorxiv-clustering-s2s`	MTEB BiorxivClusteringS2S	39.623067884052666
`mteb/medrxiv-clustering-p2p`	MTEB MedrxivClusteringP2P	36.95240450167033
`mteb/medrxiv-clustering-s2s`	MTEB MedrxivClusteringS2S	36.27758530931266

重排序任務

數據集類型	數據集名稱	MAP	MRR
`mteb/askubuntudupquestions-reranking`	MTEB AskUbuntuDupQuestions	67.2259454062751	79.37508244294948
`mteb/mind_small`	MTEB MindSmallReranking	33.35707665482982	34.60987842278547