Multilingual E5 Large Instruct Q3 K S GGUF

🚀 multilingual-e5-large-instruct

multilingual-e5-large-instructは、多言語対応のモデルです。多様な言語に対応し、様々な自然言語処理タスクで優れた性能を発揮します。

📚 ドキュメント

基本情報

モデルの評価結果

分類タスク

• MTEB AmazonCounterfactualClassification (en)
  • 正解率: 76.23880597014924
  • AP: 39.07351965022687
  • F1スコア: 70.04836733862683
• MTEB AmazonCounterfactualClassification (de)
  • 正解率: 66.71306209850107
  • AP: 79.01499914759529
  • F1スコア: 64.81951817560703
• MTEB AmazonCounterfactualClassification (en-ext)
  • 正解率: 73.85307346326837
  • AP: 22.447519885878737
  • F1スコア: 61.0162730745633
• MTEB AmazonCounterfactualClassification (ja)
  • 正解率: 76.04925053533191
  • AP: 23.44983217128922
  • F1スコア: 62.5723230907759
• MTEB AmazonPolarityClassification
  • 正解率: 96.28742500000001
  • AP: 94.8449918887462
  • F1スコア: 96.28680923610432
• MTEB AmazonReviewsClassification (en)
  • 正解率: 56.716
  • F1スコア: 55.76510398266401
• MTEB AmazonReviewsClassification (de)
  • 正解率: 52.99999999999999
  • F1スコア: 52.00829994765178
• MTEB AmazonReviewsClassification (es)
  • 正解率: 48.806000000000004
  • F1スコア: 48.082345914983634
• MTEB AmazonReviewsClassification (fr)
  • 正解率: 48.507999999999996
  • F1スコア: 47.68752844642045
• MTEB AmazonReviewsClassification (ja)
  • 正解率: 47.709999999999994
  • F1スコア: 47.05870376637181
• MTEB AmazonReviewsClassification (zh)
  • 正解率: 44.662000000000006
  • F1スコア: 43.42371965372771
• MTEB Banking77Classification
  • 正解率: 85.73376623376623
  • F1スコア: 85.68480707214599

検索タスク

• MTEB ArguAna
  • MAP@1: 31.721
  • MAP@10: 49.221
  • MAP@100: 49.884
  • MAP@1000: 49.888
  • MAP@3: 44.31
  • MAP@5: 47.276
  • MRR@1: 32.432
  • MRR@10: 49.5
  • MRR@100: 50.163000000000004
  • MRR@1000: 50.166
  • MRR@3: 44.618
  • MRR@5: 47.541
  • NDCG@1: 31.721
  • NDCG@10: 58.384
  • NDCG@100: 61.111000000000004
  • NDCG@1000: 61.187999999999995
  • NDCG@3: 48.386
  • NDCG@5: 53.708999999999996
  • Precision@1: 31.721
  • Precision@10: 8.741
  • Precision@100: 0.991
  • Precision@1000: 0.1
  • Precision@3: 20.057
  • Precision@5: 14.609
  • Recall@1: 31.721
  • Recall@10: 87.411
  • Recall@100: 99.075
  • Recall@1000: 99.644
  • Recall@3: 60.171
  • Recall@5: 73.044
• MTEB CQADupstackRetrieval
  • MAP@1: 27.764166666666668
  • MAP@10: 37.298166666666674
  • MAP@100: 38.530166666666666
  • MAP@1000: 38.64416666666667
  • MAP@3: 34.484833333333334
  • MAP@5: 36.0385
  • MRR@1: 32.93558333333333
  • MRR@10: 41.589749999999995
  • MRR@100: 42.425333333333334
  • MRR@1000: 42.476333333333336
  • MRR@3: 39.26825
  • MRR@5: 40.567083333333336
  • NDCG@1: 32.93558333333333
  • NDCG@10: 42.706583333333334
  • NDCG@100: 47.82483333333333
  • NDCG@1000: 49.95733333333334
  • NDCG@3: 38.064750000000004
  • NDCG@5: 40.18158333333333
  • Precision@1: 32.93558333333333
  • Precision@10: 7.459833333333334
  • Precision@100: 1.1830833333333335
  • Precision@1000: 0.15608333333333332
  • Precision@3: 17.5235
  • Precision@5: 12.349833333333333
  • Recall@1: 27.764166666666668
  • Recall@10: 54.31775
  • Recall@100: 76.74350000000001
  • Recall@1000: 91.45208333333332
  • Recall@3: 41.23425
  • Recall@5: 46.73983333333334
• MTEB ClimateFEVER
  • MAP@1: 12.969
  • MAP@10: 21.584999999999997
  • MAP@100: 23.3
  • MAP@1000: 23.5
  • MAP@3: 18.218999999999998
  • MAP@5: 19.983
  • MRR@1: 29.316
  • MRR@10: 40.033
  • MRR@100: 40.96
  • MRR@1000: 41.001
  • MRR@3: 37.123
  • MRR@5: 38.757999999999996
  • NDCG@1: 29.316
  • NDCG@10: 29.858
  • NDCG@100: 36.756
  • NDCG@1000: 40.245999999999995
  • NDCG@3: 24.822
  • NDCG@5: 26.565
  • Precision@1: 29.316
  • Precision@10: 9.186
  • Precision@100: 1.6549999999999998
  • Precision@1000: 0.22999999999999998
  • Precision@3: 18.436
  • Precision@5: 13.876
  • Recall@1: 12.969
  • Recall@10: 35.142
  • Recall@100: 59.143
  • Recall@1000: 78.594
  • Recall@3: 22.604
  • Recall@5: 27.883000000000003
• MTEB DBPedia
  • MAP@1: 8.527999999999999
  • MAP@10: 17.974999999999998
  • MAP@100: 25.665
  • MAP@1000: 27.406000000000002
  • MAP@3: 13.017999999999999
  • MAP@5: 15.137
  • MRR@1: 62.5
  • MRR@10: 71.891
  • MRR@100: 72.294
  • MRR@1000: 72.296
  • MRR@3: 69.958
  • MRR@5: 71.121
  • NDCG@1: 50.875
  • NDCG@10: 38.36
  • NDCG@100: 44.235
  • NDCG@1000: 52.154
  • NDCG@3: 43.008
  • NDCG@5: 40.083999999999996
  • Precision@1: 62.5
  • Precision@10: 30.0
  • Precision@100: 10.038
  • Precision@1000: 2.0869999999999997
  • Precision@3: 46.833000000000006
  • Precision@5: 38.800000000000004

クラスタリングタスク

• MTEB ArxivClusteringP2P
  • V-measure: 46.40419580759799
• MTEB ArxivClusteringS2S
  • V-measure: 40.48593255007969
• MTEB BiorxivClusteringP2P
  • V-measure: 40.935218072113855
• MTEB BiorxivClusteringS2S
  • V-measure: 36.276389017675264

再ランキングタスク

• MTEB AskUbuntuDupQuestions
  • MAP: 63.889179122289995
  • MRR: 77.61146286769556

意味的テキスト類似度タスク

• MTEB BIOSSES
  • コサイン類似度のピアソン相関係数: 88.15075203727929
  • コサイン類似度のスピアマン相関係数: 86.9622224570873
  • ユークリッド距離のピアソン相関係数: 86.70473853624121
  • ユークリッド距離のスピアマン相関係数: 86.9622224570873
  • マンハッタン距離のピアソン相関係数: 86.21089380980065
  • マンハッタン距離のスピアマン相関係数: 86.75318154937008

バイテキストマイニングタスク

• MTEB BUCC (de-en)
  • 正解率: 99.65553235908142
  • F1スコア: 99.60681976339595
  • 精度: 99.58246346555325
  • 再現率: 99.65553235908142
• MTEB BUCC (fr-en)
  • 正解率: 99.26260180497468
  • F1スコア: 99.14520507740848
  • 精度: 99.08650671362535
  • 再現率: 99.26260180497468
• MTEB BUCC (ru-en)
  • 正解率: 98.07412538967787
  • F1スコア: 97.86629719431936
  • 精度: 97.76238309664012
  • 再現率: 98.07412538967787
• MTEB BUCC (zh-en)
  • 正解率: 99.42074776197998
  • F1スコア: 99.38564156573635
  • 精度: 99.36808846761454
  • 再現率: 99.42074776197998

📄 ライセンス

このモデルはMITライセンスの下で提供されています。