Snowflake Arctic Embed M V1.5

pipeline_tag: 句子相似度
tags:

• 句子轉換器
• 特徵提取
• 句子相似度
• MTEB
• Arctic
• Snowflake-Arctic-Embed
• Transformers.js
  license: Apache-2.0
  model-index:
• name: snowflake-arctic-embed-m-v1.5
  results:
  • dataset:
    config: 默認
    name: MTEB ArguAna
    revision: c22ab2a51041ffd869aaddef7af8d8215647e41a
    split: 測試
    type: mteb/arguana
    metrics:
    • type: 主要分數
      value: 59.53000000000001
    • type: 前1準確率
      value: 34.282000000000004
    • type: 前10準確率
      value: 50.613
    • type: 前100準確率
      value: 51.269
    • type: 前1000準確率
      value: 51.271
    • type: 前20準確率
      value: 51.158
    • type: 前3準確率
      value: 45.626
    • type: 前5準確率
      value: 48.638
    • type: 前1平均倒數排名
      value: 34.92176386913229
    • type: 前10平均倒數排名
      value: 50.856081645555406
    • type: 前100平均倒數排名
      value: 51.510739437069034
    • type: 前1000平均倒數排名
      value: 51.51299498830165
    • type: 前20平均倒數排名
      value: 51.39987941081724
    • type: 前3平均倒數排名
      value: 45.993361782835514
    • type: 前5平均倒數排名
      value: 48.88098624940742
    • type: 前1000歸一化累積增益差異1
      value: 10.628675774160785
    • type: 前1000歸一化累積增益最大值
      value: -10.11742589992339
    • type: 前1000歸一化累積增益標準差
      value: -18.29277379812427
    • type: 前100歸一化累積增益差異1
      value: 10.63250240035489
    • type: 前100歸一化累積增益最大值
      value: -10.112078786734363
    • type: 前100歸一化累積增益標準差
      value: -18.288524872706834
    • type: 前10歸一化累積增益差異1
      value: 10.476494913081712
    • type: 前10歸一化累積增益最大值
      value: -9.890937746734037
    • type: 前10歸一化累積增益標準差
      value: -18.279750514750443
    • type: 前1歸一化累積增益差異1
      value: 14.549204048461151
    • type: 前1歸一化累積增益最大值
      value: -12.230560087701225
    • type: 前1歸一化累積增益標準差
      value: -19.469903650130362
    • type: 前20歸一化累積增益差異1
      value: 10.586564571825674
    • type: 前20歸一化累積增益最大值
      value: -10.00292720526217
    • type: 前20歸一化累積增益標準差
      value: -18.258077347878064
    • type: 前3歸一化累積增益差異1
      value: 10.378663968090372
    • type: 前3歸一化累積增益最大值
      value: -10.458896171786185
    • type: 前3歸一化累積增益標準差
      value: -18.38852760333766
    • type: 前5歸一化累積增益差異1
      value: 10.235960275925581
    • type: 前5歸一化累積增益最大值
      value: -10.239496080409058
    • type: 前5歸一化累積增益標準差
      value: -18.817023479445886
    • type: 前1000平均倒數排名差異1
      value: 8.718212649575722
    • type: 前1000平均倒數排名最大值
      value: -10.81022794038691
    • type: 前1000平均倒數排名標準差
      value: -17.87669499555167
    • type: 前100平均倒數排名差異1
      value: 8.722174171165133
    • type: 前100平均倒數排名最大值
      value: -10.804840985713525
    • type: 前100平均倒數排名標準差
      value: -17.872487099359986
    • type: 前10平均倒數排名差異1
      value: 8.609421635870238
    • type: 前10平均倒數排名最大值
      value: -10.568644717548432
    • type: 前10平均倒數排名標準差
      value: -17.872968762635814
    • type: 前1平均倒數排名差異1
      value: 12.69590006263834
    • type: 前1平均倒數排名最大值
      value: -12.082056561238321
    • type: 前1平均倒數排名標準差
      value: -18.036424092186657
    • type: 前20平均倒數排名差異1
      value: 8.684842497970315
    • type: 前20平均倒數排名最大值
      value: -10.691578914627286
    • type: 前20平均倒數排名標準差
      value: -17.84350301434992
    • type: 前3平均倒數排名差異1
      value: 8.649761557556763
    • type: 前3平均倒數排名最大值
      value: -11.104694428047496
    • type: 前3平均倒數排名標準差
      value: -18.149917948370344
    • type: 前5平均倒數排名差異1
      value: 8.433489750038396
    • type: 前5平均倒數排名最大值
      value: -10.917772454397436
    • type: 前5平均倒數排名標準差
      value: -18.4094211134111
    • type: 前1000歸一化累積增益差異1
      value: 10.19041067807956
    • type: 前1000歸一化累積增益最大值
      value: -9.54328201605796
    • type: 前1000歸一化累積增益標準差
      value: -17.824620427456633
    • type: 前100歸一化累積增益差異1
      value: 10.289491087585963
    • type: 前100歸一化累積增益最大值
      value: -9.357214331420337
    • type: 前100歸一化累積增益標準差
      value: -17.657600653632873
    • type: 前10歸一化累積增益差異1
      value: 9.435530877596092
    • type: 前10歸一化累積增益最大值
      value: -8.182581635383546
    • type: 前10歸一化累積增益標準差
      value: -17.603156479980388
    • type: 前1歸一化累積增益差異1
      value: 14.549204048461151
    • type: 前1歸一化累積增益最大值
      value: -12.230560087701225
    • type: 前1歸一化累積增益標準差
      value: -19.469903650130362
    • type: 前20歸一化累積增益差異1
      value: 9.885227087275197
    • type: 前20歸一化累積增益最大值
      value: -8.52362662391439
    • type: 前20歸一化累積增益標準差
      value: -17.441705436231764
    • type: 前3歸一化累積增益差異1
      value: 9.22542769998547
    • type: 前3歸一化累積增益最大值
      value: -9.903590564219288
    • type: 前3歸一化累積增益標準差
      value: -18.357220221111593
    • type: 前5歸一化累積增益差異1
      value: 8.8756720745828
    • type: 前5歸一化累積增益最大值
      value: -9.269764943861245
    • type: 前5歸一化累積增益標準差
      value: -19.009229433187784
    • type: 前1000精確率差異1
      value: 3.733355117431035
    • type: 前1000精確率最大值
      value: 3.9603571352517393
    • type: 前1000精確率標準差
      value: 70.07345061131439
    • type: 前100精確率差異1
      value: 29.019032142462457
    • type: 前100精確率最大值
      value: 40.75153328286103
    • type: 前100精確率標準差
      value: 62.634249549126594
    • type: 前10精確率差異1
      value: 2.5762677254910353
    • type: 前10精確率最大值
      value: 6.096298633773051
    • type: 前10精確率標準差
      value: -11.507400451348587
    • type: 前1精確率差異1
      value: 14.549204048461151
    • type: 前1精確率最大值
      value: -12.230560087701225
    • type: 前1精確率標準差
      value: -19.469903650130362
    • type: 前20精確率差異1
      value: 1.715540124567996
    • type: 前20精確率最大值
      value: 21.53546453945913
    • type: 前20精確率標準差
      value: 1.537961142195571
    • type: 前3精確率差異1
      value: 5.701850652555737
    • type: 前3精確率最大值
      value: -8.180345365085552
    • type: 前3精確率標準差
      value: -18.37033750502482
    • type: 前5精確率差異1
      value: 3.6053552181042843
    • type: 前5精確率最大值
      value: -5.207647070615612
    • type: 前5精確率標準差
      value: -19.89491085427258
    • type: 前1000召回率差異1
      value: 3.733355117431255
    • type: 前1000召回率最大值
      value: 3.9603571352482194
    • type: 前1000召回率標準差
      value: 70.07345061131205
    • type: 前100召回率差異1
      value: 29.01903214246288
    • type: 前100召回率最大值
      value: 40.7515332828621
    • type: 前100召回率標準差
      value: 62.63424954912607
    • type: 前10召回率差異1
      value: 2.5762677254911988
    • type: 前10召回率最大值
      value: 6.0962986337729905
    • type: 前10召回率標準差
      value: -11.507400451348577
    • type: 前1召回率差異1
      value: 14.549204048461151
    • type: 前1召回率最大值
      value: -12.230560087701225
    • type: 前1召回率標準差
      value: -19.469903650130362
    • type: 前20召回率差異1
      value: 1.7155401245682675
    • type: 前20召回率最大值
      value: 21.535464539459632
    • type: 前20召回率標準差
      value: 1.5379611421957025
    • type: 前3召回率差異1
      value: 5.7018506525557875
    • type: 前3召回率最大值
      value: -8.180345365085538
    • type: 前3召回率標準差
      value: -18.370337505024796
    • type: 前5召回率差異1
      value: 3.6053552181043913
    • type: 前5召回率最大值
      value: -5.207647070615579
    • type: 前5召回率標準差
      value: -19.894910854272492
    • type: 前1歸一化累積增益
      value: 34.282000000000004
    • type: 前10歸一化累積增益
      value: 59.53000000000001
    • type: 前100歸一化累積增益
      value: 62.187000000000005
    • type: 前1000歸一化累積增益
      value: 62.243
    • type: 前20歸一化累積增益
      value: 61.451
    • type: 前3歸一化累積增益
      value: 49.393
    • type: 前5歸一化累積增益
      value: 54.771
    • type: 前1精確率
      value: 34.282000000000004
    • type: 前10精確率
      value: 8.791
    • type: 前100精確率
      value: 0.992
    • type: 前1000精確率
      value: 0.1
    • type: 前20精確率
      value: 4.769
    • type: 前3精確率
      value: 20.104
    • type: 前5精確率
      value: 14.651
    • type: 前1召回率
      value: 34.282000000000004
    • type: 前10召回率
      value: 87.909
    • type: 前100召回率
      value: 99.21799999999999
    • type: 前1000召回率
      value: 99.644
    • type: 前20召回率
      value: 95.377
    • type: 前3召回率
      value: 60.313
    • type: 前5召回率
      value: 73.257
      task:
      type: 檢索
  • dataset:
    config: 默認
    name: MTEB CQADupstackAndroidRetrieval
    revision: f46a197baaae43b4f621051089b82a364682dfeb
    split: 測試
    type: mteb/cqadupstack-android
    metrics:
    • type: 主要分數
      value: 53.885000000000005
    • type: 前1準確率
      value: 35.429
    • type: 前10準確率
      value: 47.469
    • type: 前100準確率
      value: 48.997
    • type: 前1000準確率
      value: 49.117
    • type: 前20準確率
      value: 48.324
    • type: 前3準確率
      value: 43.835
    • type: 前5準確率
      value: 46.043
    • type: 前1平均倒數排名
      value: 43.34763948497854
    • type: 前10平均倒數排名
      value: 53.258623430297234
    • type: 前100平均倒數排名
      value: 53.99123884299005
    • type: 前1000平均倒數排名
      value: 54.02458101713216
    • type: 前20平均倒數排名
      value: 53.695964669618945
    • type: 前3平均倒數排名
      value: 50.81068192656173
    • type: 前5平均倒數排名
      value: 52.45588936576058
    • type: 前1000歸一化累積增益差異1
      value: 51.55382824218782
    • type: 前1000歸一化累積增益最大值
      value: 31.855350695084606
    • type: 前1000歸一化累積增益標準差
      value: -5.465862008150992
    • type: 前100歸一化累積增益差異1
      value: 51.55889312452534
    • type: 前100歸一化累積增益最大值
      value: 31.88429637207401
    • type: 前100歸一化累積增益標準差
      value: -5.40805152544196
    • type: 前10歸一化累積增益差異1
      value: 51.6592677505875
    • type: 前10歸一化累積增益最大值
      value: 31.554425233617543
    • type: 前10歸一化累積增益標準差
      value: -6.125756131339046
    • type: 前1歸一化累積增益差異1
      value: 55.6889617582672
    • type: 前1歸一化累積增益最大值
      value: 27.821166966868176
    • type: 前1歸一化累積增益標準差
      value: -5.778838498211728
    • type: 前20歸一化累積增益差異1
      value: 51.70520970992564
    • type: 前20歸一化累積增益最大值
      value: 31.811676633900465
    • type: 前20歸一化累積增益標準差
      value: -5.463596751904718
    • type: 前3歸一化累積增益差異1
      value: 53.206169626589606
    • type: 前3歸一化累積增益最大值
      value: 31.64373830824983
    • type: 前3歸一化累積增益標準差
      value: -6.054761451312827
    • type: 前5歸一化累積增益差異1
      value: 52.37308971673694
    • type: 前5歸一化累積增益最大值
      value: 31.974302019633644
    • type: 前5歸一化累積增益標準差
      value: -6.302653399940531
    • type: 前1000平均倒數排名差異1
      value: 49.345152231490616
    • type: 前1000平均倒數排名最大值
      value: 33.49789501712511
    • type: 前1000平均倒數排名標準差
      value: -6.054730861163538
    • type: 前100平均倒數排名差異1
      value: 49.3387577601307
    • type: 前100平均倒數排名最大值
      value: 33.48149992464187
    • type: 前100平均倒數排名標準差
      value: -6.061177137579308
    • type: 前10平均倒數排名差異1
      value: 49.08312288449718
    • type: 前10平均倒數排名最大值
      value: 33.470393322577465
    • type: 前10平均倒數排名標準差
      value: -6.180286430216975
    • type: 前1平均倒數排名差異1
      value: 52.43364978537192
    • type: 前1平均倒數排名最大值
      value: 31.521755633355713
    • type: 前1平均倒數排名標準差
      value: -7.002499524130836
    • type: 前20平均倒數排名差異1
      value: 49.311059224991766
    • type: 前20平均倒數排名最大值
      value: 33.538523037692144
    • type: 前20平均倒數排名標準差
      value: -6.034619474981136
    • type: 前3平均倒數排名差異1
      value: 49.90489868439366
    • type: 前3平均倒數排名最大值
      value: 34.400493912164606
    • type: 前3平均倒數排名標準差
      value: -6.028875320994629
    • type: 前5平均倒數排名差異1
      value: 49.033661898983475
    • type: 前5平均倒數排名最大值
      value: 33.732315350193936
    • type: 前5平均倒數排名標準差
      value: -6.272548556330368
    • type: 前1000歸一化累積增益差異1
      value: 49.81681892539247
    • type: 前1000歸一化累積增益最大值
      value: 33.06518006062093
    • type: 前1000歸一化累積增益標準差
      value: -4.282105713014755
    • type: 前100歸一化累積增益差異1
      value: 49.42362108857786
    • type: 前100歸一化累積增益最大值
      value: 32.92024325540483
    • type: 前100歸一化累積增益標準差
      value: -3.7786765305496717
    • type: 前10歸一化累積增益差異1
      value: 48.83102435475594
    • type: 前10歸一化累積增益最大值
      value: 31.898404563611958
    • type: 前10歸一化累積增益標準差
      value: -6.2024003866707
    • type: 前1歸一化累積增益差異1
      value: 52.43364978537192
    • type: 前1歸一化累積增益最大值
      value: 31.521755633355713
    • type: 前1歸一化累積增益標準差
      value: -7.002499524130836
    • type: 前20歸一化累積增益差異1
      value: 49.466526454438316
    • type: 前20歸一化累積增益最大值
      value: 32.424462698701674
    • type: 前20歸一化累積增益標準差
      value: -4.520809563712905
    • type: 前3歸一化累積增益差異1
      value: 50.997884562583884
    • type: 前3歸一化累積增益最大值
      value: 33.26787046916917
    • type: 前3歸一化累積增益標準差
      value: -6.340699471083753
    • type: 前5歸一化累積增益差異1
      value: 49.68314458398097
    • type: 前5歸一化累積增益最大值
      value: 32.80910071143984
    • type: 前5歸一化累積增益標準差
      value: -6.734495576445887
    • type: 前1000精確率差異1
      value: -24.18940012795299
    • type: 前1000精確率最大值
      value: -10.995343674356896
    • type: 前1000精確率標準差
      value: -8.298841004724856
    • type: 前100精確率差異1
      value: -18.104939577865935
    • type: 前100精確率最大值
      value: -1.3757613100627637
    • type: 前100精確率標準差
      value: 0.07661922190466432
    • type: 前10精確率差異1
      value: 3.9624459059275967
    • type: 前10精確率最大值
      value: 14.841561593450391
    • type: 前10精確率標準差
      value: -2.485374333613117
    • type: 前1精確率差異1
      value: 52.43364978537192
    • type: 前1精確率最大值
      value: 31.521755633355713
    • type: 前1精確率標準差
      value: -7.002499524130836
    • type: 前20精確率差異1
      value: -4.4791763436505265
    • type: 前20精確率最大值
      value: 9.157872836996276
    • type: 前20精確率標準差
      value: 2.086903518342088
    • type: 前3精確率差異1
      value: 28.480888018235568
    • type: 前3精確率最大值
      value: 30.34526267718485
    • type: 前3精確率標準差
      value: -6.3006706923866025
    • type: 前5精確率差異1
      value: 16.488039195453517
    • type: 前5精確率最大值
      value: 24.593477099241852
    • type: 前5精確率標準差
      value: -5.316448107840636
    • type: 前1000召回率差異1
      value: 34.715187316533076
    • type: 前1000召回率最大值
      value: 58.2266544684947
    • type: 前1000召回率標準差
      value: 63.85237636398278
    • type: 前100召回率差異1
      value: 36.08623826028132
    • type: 前100召回率最大值
      value: 33.05011429439473
    • type: 前100召回率標準差
      value: 16.559545021212564
    • type: 前10召回率差異1
      value: 39.76738610714205
    • type: 前10召回率最大值
      value: 28.233045706945997
    • type: 前10召回率標準差
      value: -5.13243784043598
    • type: 前1召回率差異1
      value: 55.6889617582672
    • type: 前1召回率最大值
      value: 27.821166966868176
    • type: 前1召回率標準差
      value: -5.778838498211728
    • type: 前20召回率差異1
      value: 41.18682480073759
    • type: 前20召回率最大值
      value: 29.525993239296945
    • type: 前20召回率標準差
      value: 1.5003598438954298
    • type: 前3召回率差異1
      value: 48.31879460301157
    • type: 前3召回率最大值
      value: 32.93751306970167
    • type: 前3召回率標準差
      value: -5.28070084211707
    • type: 前5召回率差異1
      value: 44.327686388315435
    • type: 前5召回率最大值
      value: 32.04823486234599
    • type: 前5召回率標準差
      value: -6.4221525602778256
    • type: 前1歸一化累積增益
      value: 43.348
    • type: 前10歸一化累積增益
      value: 53.885000000000005
    • type: 前100歸一化累積增益
      value: 59.204
    • type: 前1000歸一化累積增益
      value: 60.744
    • type: 前20歸一化累積增益
      value: 55.995
    • type: 前3歸一化累積增益
      value: 49.112
    • type: 前5歸一化累積增益
      value: 51.61900000000001
    • type: 前1精確率
      value: 43.348
    • type: 前10精確率
      value: 10.242999999999999
    • type: 前100精確率
      value: 1.6150000000000002
    • type: 前1000精確率
      value: 0.203
    • type: 前20精確率
      value: 6.066
    • type: 前3精確率
      value: 23.605
    • type: 前5精確率
      value: 17.024
    • type: 前1召回率
      value: 35.429
    • type: 前10召回率
      value: 65.77199999999999
    • type: 前100召回率
      value: 87.89
    • type: 前1000召回率
      value: 97.13000000000001
    • type: 前20召回率
      value: 73.299
    • type: 前3召回率
      value: 52.034000000000006
    • type: 前5召回率
      value: 58.96
      task:
      type: 檢索
  • dataset:
    config: 默認
    name: MTEB CQADupstackEnglishRetrieval
    revision: ad9991cb51e31e31e430383c75ffb2885547b5f0
    split: 測試
    type: mteb/cqadupstack-english
    metrics:
    • type: 主要分數
      value: 49.55
    • type: 前1準確率
      value: 31.684
    • type: 前10準確率
      value: 43.258
    • type: 前100準確率
      value: 44.628
    • type: 前1000準確率
      value: 44.761
    • type: 前20準確率
      value: 44.015
    • type: 前3準確率
      value: 39.778000000000006
    • type: 前5準確率
      value: 41.643
    • type: 前1平均倒數排名
      value: 39.87261146496815
    • type: 前10平均倒數排名
      value: 49.31978566373469
    • type: 前100平均倒數排名
      value: 49.94922739445482
    • type: 前1000平均倒數排名
      value: 49.990325601254106
    • type: 前20平均倒數排名
      value: 49.70597468576704
    • type: 前3平均倒數排名
      value: 47.070063694267546
    • type: 前5平均倒數排名
      value: 48.23248407643316
    • type: 前1000歸一化累積增益差異1
      value: 53.44044712371752
    • type: 前1000歸一化累積增益最大值
      value: 34.5651440062204
    • type: 前1000歸一化累積增益標準差
      value: -0.9814384609230475
    • type: 前100歸一化累積增益差異1
      value: 53.429004435388464
    • type: 前100歸一化累積增益最大值
      value: 34.52038957273436
    • type: 前100歸一化累積增益標準差
      value: -1.1021936362699805
    • type: 前10歸一化累積增益差異1
      value: 53.879128574022005
    • type: 前10歸一化累積增益最大值
      value: 33.74771524140917
    • type: 前10歸一化累積增益標準差
      value: -2.945132777205236
    • type: 前1歸一化累積增益差異1
      value: 60.25159799695403
    • type: 前1歸一化累積增益最大值
      value: 26.843892985235808
    • type: 前1歸一化累積增益標準差
      value: -9.618702739509093
    • type: 前20歸一化累積增益差異1
      value: 53.56789898225283
    • type: 前20歸一化累積增益最大值
      value: 34.11628845872402
    • type: 前20歸一化累積增益標準差
      value: -2.024376635870884
    • type: 前3歸一化累積增益差異1
      value: 54.45882099014072
    • type: 前3歸一化累積增益最大值
      value: 31.29495446507793
    • type: 前3歸一化累積增益標準差
      value: -6.391948228781555
    • type: 前5歸一化累積增益差異1
      value: 54.20536489050697
    • type: 前5歸一化累積增益最大值
      value: 32.31001487256826
    • type: 前5歸一化累積增益標準差
      value: -5.050953263346934
    • type: 前1000平均倒數排名差異1
      value: 50.835858995999125
    • type: 前1000平均倒數排名最大值
      value: 38.20717381701079
    • type: 前1000平均倒數排名標準差
      value: 4.174163368228787
    • type: 前100平均倒數排名差異1
      value: 50.827072441041224
    • type: 前100平均倒數排名最大值
      value: 38.21077622034756
    • type: 前100平均倒數排名標準差
      value: 4.1951082737013365
    • type: 前10平均倒數排名差異1
      value: 50.90578491570948
    • type: 前10平均倒數排名最大值
      value: 38.19229691746408
    • type: 前10平均倒數排名標準差
      value: 3.8290750066335546
    • type: 前1平均倒數排名差異1
      value: 54.807021746871186
    • type: 前1平均倒數排名最大值
      value: 37.09225642043841
    • type: 前1平均倒數排名標準差
      value: 0.5654547513131355
    • type: 前20平均倒數排名差異1
      value: 50.86247832095378
    • type: 前20平均倒數排名最大值
      value: 38.19277867384178
    • type: 前20平均倒數排名標準差
      value: 4.098932316791841
    • type: 前3平均倒數排名差異1
      value: 50.788934370903036