🚀 ibm-granite/granite-embedding-107m-multilingual
granite-embedding-107m-multilingual
是一款多語言嵌入模型,支持多種語言,可用於分類、檢索、聚類等自然語言處理任務。
📚 詳細文檔
支持語言
該模型支持以下語言:
- 英語(en)
- 阿拉伯語(ar)
- 捷克語(cs)
- 德語(de)
- 西班牙語(es)
- 法語(fr)
- 意大利語(it)
- 日語(ja)
- 韓語(ko)
- 荷蘭語(nl)
- 葡萄牙語(pt)
- 中文(zh)
許可證
本項目採用 Apache-2.0 許可證。
模型信息
屬性 |
詳情 |
模型類型 |
多語言嵌入模型 |
支持庫 |
transformers |
標籤 |
語言、granite、嵌入、多語言、mteb |
評估結果
該模型在多個 MTEB 數據集上進行了評估,以下是部分評估結果:
MTEB AmazonCounterfactualClassification (en-ext)
- 任務類型:分類
| 指標 | 值 |
|------|------|
| 準確率 | 72.7136 |
| F1 值 | 60.44540000000001 |
| 加權 F1 值 | 77.8541 |
| 平均精度(AP) | 22.4958 |
| 加權平均精度(AP 加權) | 22.4958 |
| 主得分 | 72.7136 |
MTEB AmazonCounterfactualClassification (en)
- 任務類型:分類
| 指標 | 值 |
|------|------|
| 準確率 | 71.6716 |
| F1 值 | 65.4221 |
| 加權 F1 值 | 74.3533 |
| 平均精度(AP) | 33.7567 |
| 加權平均精度(AP 加權) | 33.7567 |
| 主得分 | 71.6716 |
MTEB AmazonPolarityClassification (default)
- 任務類型:分類
| 指標 | 值 |
|------|------|
| 準確率 | 66.5804 |
| F1 值 | 66.2191 |
| 加權 F1 值 | 66.2191 |
| 平均精度(AP) | 61.340799999999994 |
| 加權平均精度(AP 加權) | 61.340799999999994 |
| 主得分 | 66.5804 |
MTEB AmazonReviewsClassification (en)
- 任務類型:分類
| 指標 | 值 |
|------|------|
| 準確率 | 36.412 |
| F1 值 | 35.633199999999995 |
| 加權 F1 值 | 35.633199999999995 |
| 主得分 | 36.412 |
MTEB AppsRetrieval (default)
- 任務類型:檢索
| 指標 | 值 |
|------|------|
| NDCG@1 | 2.39 |
| NDCG@3 | 3.527 |
| NDCG@5 | 3.9759999999999995 |
| NDCG@10 | 4.537 |
| NDCG@20 | 5.140000000000001 |
| NDCG@100 | 6.526 |
| NDCG@1000 | 9.797 |
| MAP@1 | 2.39 |
| MAP@3 | 3.2489999999999997 |
| MAP@5 | 3.499 |
| MAP@10 | 3.7220000000000004 |
| MAP@20 | 3.887 |
| MAP@100 | 4.058 |
| MAP@1000 | 4.146 |
| 召回率@1 | 2.39 |
| 召回率@3 | 4.329000000000001 |
| 召回率@5 | 5.418 |
| 召回率@10 | 7.198 |
| 召回率@20 | 9.588000000000001 |
| 召回率@100 | 17.371 |
| 召回率@1000 | 45.206 |
| 精確率@1 | 2.39 |
| 精確率@3 | 1.443 |
| 精確率@5 | 1.084 |
| 精確率@10 | 0.72 |
| 精確率@20 | 0.479 |
| 精確率@100 | 0.174 |
| 精確率@1000 | 0.045 |
| MRR@1 | 2.3904 |
| MRR@3 | 3.2492 |
| MRR@5 | 3.4989 |
| MRR@10 | 3.7220000000000004 |
| MRR@20 | 3.8869000000000002 |
| MRR@100 | 4.0578 |
| MRR@1000 | 4.1463 |
| 主得分 | 4.537 |
MTEB ArguAna (default)
- 任務類型:檢索
| 指標 | 值 |
|------|------|
| NDCG@1 | 27.168999999999997 |
| NDCG@3 | 41.08 |
| NDCG@5 | 46.375 |
| NDCG@10 | 51.663000000000004 |
| NDCG@20 | 54.339999999999996 |
| NDCG@100 | 55.656000000000006 |
| NDCG@1000 | 55.875 |
| MAP@1 | 27.168999999999997 |
| MAP@3 | 37.482 |
| MAP@5 | 40.416000000000004 |
| MAP@10 | 42.624 |
| MAP@20 | 43.376999999999995 |
| MAP@100 | 43.578 |
| MAP@1000 | 43.588 |
| 召回率@1 | 27.168999999999997 |
| 召回率@3 | 51.565000000000005 |
| 召回率@5 | 64.43799999999999 |
| 召回率@10 | 80.654 |
| 召回率@20 | 91.11 |
| 召回率@100 | 97.937 |
| 召回率@1000 | 99.57300000000001 |
| 精確率@1 | 27.168999999999997 |
| 精確率@3 | 17.188 |
| 精確率@5 | 12.888 |
| 精確率@10 | 8.065 |
| 精確率@20 | 4.555 |
| 精確率@100 | 0.979 |
| 精確率@1000 | 0.1 |
| MRR@1 | 27.6671 |
| MRR@3 | 37.6245 |
| MRR@5 | 40.6188 |
| MRR@10 | 42.8016 |
| MRR@20 | 43.5582 |
| MRR@100 | 43.7551 |
| MRR@1000 | 43.765 |
| 主得分 | 51.663000000000004 |
MTEB ArxivClusteringP2P (default)
- 任務類型:聚類
| 指標 | 值 |
|------|------|
| V 度量 | 41.4944 |
| V 度量標準差 | 13.6458 |
| 主得分 | 41.4944 |
MTEB ArxivClusteringS2S (default)
- 任務類型:聚類
| 指標 | 值 |
|------|------|
| V 度量 | 30.6155 |
| V 度量標準差 | 14.377999999999998 |
| 主得分 | 30.6155 |
MTEB AskUbuntuDupQuestions (default)
- 任務類型:重排序
| 指標 | 值 |
|------|------|
| MAP | 61.9001 |
| MRR | 文檔中未完整給出,需補充 |
📄 許可證
本項目採用 Apache-2.0 許可證。