🚀 multilingual-e5-large-instruct
multilingual-e5-large-instructは、多言語対応のモデルです。様々な言語のデータセットに対して分類、検索、クラスタリングなどのタスクを行うことができ、MTEBの複数のデータセットでの評価結果を提供しています。
✨ 主な機能
- 多言語対応: 複数の言語(af、am、arなど多数)に対応しています。
- 様々なタスク対応: 分類、検索、クラスタリング、再ランキング、STS、バイテキストマイニングなどのタスクに対応。
📚 ドキュメント
モデルの基本情報
属性 |
詳情 |
モデルタイプ |
multilingual-e5-large-instruct |
ライセンス |
MIT |
評価結果
分類タスク
データセット名 |
言語 |
正解率 |
AP |
F1 |
MTEB AmazonCounterfactualClassification |
en |
76.23880597014924 |
39.07351965022687 |
70.04836733862683 |
MTEB AmazonCounterfactualClassification |
de |
66.71306209850107 |
79.01499914759529 |
64.81951817560703 |
MTEB AmazonCounterfactualClassification |
en - ext |
73.85307346326837 |
22.447519885878737 |
61.0162730745633 |
MTEB AmazonCounterfactualClassification |
ja |
76.04925053533191 |
23.44983217128922 |
62.5723230907759 |
MTEB AmazonPolarityClassification |
- |
96.28742500000001 |
94.8449918887462 |
96.28680923610432 |
MTEB AmazonReviewsClassification |
en |
56.716 |
- |
55.76510398266401 |
MTEB AmazonReviewsClassification |
de |
52.99999999999999 |
- |
52.00829994765178 |
MTEB AmazonReviewsClassification |
es |
48.806000000000004 |
- |
48.082345914983634 |
MTEB AmazonReviewsClassification |
fr |
48.507999999999996 |
- |
47.68752844642045 |
MTEB AmazonReviewsClassification |
ja |
47.709999999999994 |
- |
47.05870376637181 |
MTEB AmazonReviewsClassification |
zh |
44.662000000000006 |
- |
43.42371965372771 |
MTEB Banking77Classification |
- |
85.73376623376623 |
- |
85.68480707214599 |
MTEB EmotionClassification |
- |
51.51 |
- |
47.632159862049896 |
検索タスク
データセット名 |
MAP@1 |
MAP@10 |
MAP@100 |
MAP@1000 |
MRR@1 |
MRR@10 |
MRR@100 |
MRR@1000 |
NDCG@1 |
NDCG@10 |
NDCG@100 |
NDCG@1000 |
Precision@1 |
Precision@10 |
Precision@100 |
Precision@1000 |
Recall@1 |
Recall@10 |
Recall@100 |
Recall@1000 |
MTEB ArguAna |
31.721 |
49.221 |
49.884 |
49.888 |
32.432 |
49.5 |
50.163000000000004 |
50.166 |
31.721 |
58.384 |
61.111000000000004 |
61.187999999999995 |
31.721 |
8.741 |
0.991 |
0.1 |
31.721 |
87.411 |
99.075 |
99.644 |
MTEB CQADupstackRetrieval |
27.764166666666668 |
37.298166666666674 |
38.530166666666666 |
38.64416666666667 |
32.93558333333333 |
41.589749999999995 |
42.425333333333334 |
42.476333333333336 |
32.93558333333333 |
42.706583333333334 |
47.82483333333333 |
49.95733333333334 |
32.93558333333333 |
7.459833333333334 |
1.1830833333333335 |
0.15608333333333332 |
27.764166666666668 |
54.31775 |
76.74350000000001 |
91.45208333333332 |
MTEB ClimateFEVER |
12.969 |
21.584999999999997 |
23.3 |
23.5 |
29.316 |
40.033 |
40.96 |
41.001 |
29.316 |
29.858 |
36.756 |
40.245999999999995 |
29.316 |
9.186 |
1.6549999999999998 |
0.22999999999999998 |
12.969 |
35.142 |
59.143 |
78.594 |
MTEB DBPedia |
8.527999999999999 |
17.974999999999998 |
25.665 |
27.406000000000002 |
62.5 |
71.891 |
72.294 |
72.296 |
50.875 |
38.36 |
44.235 |
52.154 |
62.5 |
30.0 |
10.038 |
2.0869999999999997 |
8.527999999999999 |
23.828 |
52.322 |
77.143 |
MTEB FEVER |
60.734 |
72.442 |
72.735 |
72.75 |
65.212 |
76.613 |
76.79899999999999 |
76.801 |
65.212 |
77.988 |
79.167 |
79.452 |
65.212 |
10.003 |
1.077 |
0.11199999999999999 |
60.734 |
90.824 |
95.71600000000001 |
97.577 |
MTEB FiQA2018 |
23.845 |
39.281 |
41.422 |
41.593 |
47.531 |
56.204 |
56.928999999999995 |
56.962999999999994 |
47.531 |
47.711999999999996 |
54.510999999999996 |
57.103 |
47.531 |
13.194 |
2.045 |
0.249 |
23.845 |
54.967 |
79.11399999999999 |
94.56700000000001 |
MTEB HotpotQA |
37.819 |
60.889 |
61.717999999999996 |
61.778 |
75.638 |
82.173 |
82.362 |
82.37 |
75.638 |
69.317 |
72.221 |
73.382 |
75.638 |
14.704999999999998 |
1.698 |
0.185 |
37.819 |
59.889 |
86.717999999999996 |
96.778 |
クラスタリングタスク
データセット名 |
V - measure |
MTEB ArxivClusteringP2P |
46.40419580759799 |
MTEB ArxivClusteringS2S |
40.48593255007969 |
MTEB BiorxivClusteringP2P |
40.935218072113855 |
MTEB BiorxivClusteringS2S |
36.276389017675264 |
再ランキングタスク
データセット名 |
MAP |
MRR |
MTEB AskUbuntuDupQuestions |
63.889179122289995 |
77.61146286769556 |
STSタスク
データセット名 |
コサイン類似度(ピアソン) |
コサイン類似度(スピアマン) |
ユークリッド距離(ピアソン) |
ユークリッド距離(スピアマン) |
マンハッタン距離(ピアソン) |
マンハッタン距離(スピアマン) |
MTEB BIOSSES |
88.15075203727929 |
86.9622224570873 |
86.70473853624121 |
86.9622224570873 |
86.21089380980065 |
86.75318154937008 |
バイテキストマイニングタスク
データセット名 |
言語ペア |
正解率 |
F1 |
適合率 |
再現率 |
MTEB BUCC |
de - en |
99.65553235908142 |
99.60681976339595 |
99.58246346555325 |
99.65553235908142 |
MTEB BUCC |
fr - en |
99.26260180497468 |
99.14520507740848 |
99.08650671362535 |
99.26260180497468 |
MTEB BUCC |
ru - en |
98.07412538967787 |
97.86629719431936 |
97.76238309664012 |
98.07412538967787 |
MTEB BUCC |
zh - en |
99.42074776197998 |
99.38564156573635 |
99.36808846761454 |
99.42074776197998 |
📄 ライセンス
このモデルはMITライセンスの下で提供されています。