🚀 Gouzi3618/LENS-4000
Gouzi3618/LENS-4000 是一個用於文本嵌入、特徵提取、句子相似度計算等任務的模型,在多個 MTEB 數據集上進行了測試,展現出了良好的性能。
📚 詳細文檔
模型信息
屬性 |
詳情 |
模型類型 |
文本嵌入、特徵提取、句子相似度計算等 |
訓練數據 |
未提及 |
評估結果
該模型在多個 MTEB 數據集上進行了評估,涵蓋分類、檢索、聚類、重排序和語義文本相似度等任務。以下是部分評估結果:
分類任務
數據集 |
準確率 |
AP |
AP 加權 |
F1 |
F1 加權 |
主得分 |
MTEB AmazonCounterfactualClassification (en) |
93.61194029850746 |
73.89383804438975 |
73.89383804438975 |
90.31690759629414 |
93.75647989786705 |
93.61194029850746 |
MTEB AmazonPolarityClassification (default) |
97.05455 |
95.53082050876944 |
95.53082050876944 |
97.05405422635297 |
97.05405422635297 |
97.05455 |
MTEB AmazonReviewsClassification (en) |
62.834 |
未提及 |
未提及 |
61.45864309016823 |
61.45864309016823 |
62.834 |
MTEB Banking77Classification (default) |
90.42532467532467 |
未提及 |
未提及 |
90.26361056658011 |
90.26361056658011 |
90.42532467532467 |
檢索任務
數據集 |
主得分 |
MAP@1 |
MAP@10 |
MAP@100 |
MAP@1000 |
... |
MTEB ArguAna (default) |
77.31700000000001 |
56.757000000000005 |
71.136 |
71.339 |
71.34 |
... |
MTEB CQADupstackAndroidRetrieval (default) |
57.058 |
37.856 |
50.468 |
52.122 |
52.227999999999994 |
... |
聚類任務
數據集 |
主得分 |
V 度量 |
V 度量標準差 |
MTEB ArxivClusteringP2P (default) |
54.87086052375513 |
54.87086052375513 |
14.454097589509681 |
MTEB ArxivClusteringS2S (default) |
50.24788850687535 |
50.24788850687535 |
14.477615357158207 |
MTEB BiorxivClusteringP2P (default) |
52.38683432596689 |
52.38683432596689 |
1.1038897398800631 |
MTEB BiorxivClusteringS2S (default) |
48.3512116630593 |
48.3512116630593 |
0.9899344134435963 |
重排序任務
數據集 |
主得分 |
MAP |
MRR |
nAUC_MAP 差異 1 |
nAUC_MAP 最大值 |
... |
MTEB AskUbuntuDupQuestions (default) |
65.44621361559305 |
65.44621361559305 |
78.08380600624368 |
19.65299058945553 |
23.879426571566693 |
... |
語義文本相似度任務
數據集 |
餘弦皮爾遜係數 |
餘弦斯皮爾曼係數 |
歐幾里得皮爾遜係數 |
歐幾里得斯皮爾曼係數 |
主得分 |
... |
MTEB BIOSSES (default) |
85.46985769611739 |
84.47120184207104 |
83.12042031068798 |
84.47120184207104 |
84.47120184207104 |
... |
📄 許可證
本模型使用 Apache-2.0 許可證。