Granite Embedding 107m Multilingual Onnx

🚀 ibm-granite/granite-embedding-107m-multilingual

granite-embedding-107m-multilingual 是一款多語言嵌入模型，支持多種語言，可用於分類、檢索、聚類等自然語言處理任務。

📚 詳細文檔

支持語言

該模型支持以下語言：

• 英語（en）
• 阿拉伯語（ar）
• 捷克語（cs）
• 德語（de）
• 西班牙語（es）
• 法語（fr）
• 意大利語（it）
• 日語（ja）
• 韓語（ko）
• 荷蘭語（nl）
• 葡萄牙語（pt）
• 中文（zh）

許可證

本項目採用 Apache-2.0 許可證。

模型信息

評估結果

該模型在多個 MTEB 數據集上進行了評估，以下是部分評估結果：

MTEB AmazonCounterfactualClassification (en-ext)

• 任務類型：分類 | 指標 | 值 | |------|------| | 準確率 | 72.7136 | | F1 值 | 60.44540000000001 | | 加權 F1 值 | 77.8541 | | 平均精度（AP） | 22.4958 | | 加權平均精度（AP 加權） | 22.4958 | | 主得分 | 72.7136 |

MTEB AmazonCounterfactualClassification (en)

• 任務類型：分類 | 指標 | 值 | |------|------| | 準確率 | 71.6716 | | F1 值 | 65.4221 | | 加權 F1 值 | 74.3533 | | 平均精度（AP） | 33.7567 | | 加權平均精度（AP 加權） | 33.7567 | | 主得分 | 71.6716 |

MTEB AmazonPolarityClassification (default)

• 任務類型：分類 | 指標 | 值 | |------|------| | 準確率 | 66.5804 | | F1 值 | 66.2191 | | 加權 F1 值 | 66.2191 | | 平均精度（AP） | 61.340799999999994 | | 加權平均精度（AP 加權） | 61.340799999999994 | | 主得分 | 66.5804 |

MTEB AmazonReviewsClassification (en)

• 任務類型：分類 | 指標 | 值 | |------|------| | 準確率 | 36.412 | | F1 值 | 35.633199999999995 | | 加權 F1 值 | 35.633199999999995 | | 主得分 | 36.412 |

MTEB AppsRetrieval (default)

• 任務類型：檢索 | 指標 | 值 | |------|------| | NDCG@1 | 2.39 | | NDCG@3 | 3.527 | | NDCG@5 | 3.9759999999999995 | | NDCG@10 | 4.537 | | NDCG@20 | 5.140000000000001 | | NDCG@100 | 6.526 | | NDCG@1000 | 9.797 | | MAP@1 | 2.39 | | MAP@3 | 3.2489999999999997 | | MAP@5 | 3.499 | | MAP@10 | 3.7220000000000004 | | MAP@20 | 3.887 | | MAP@100 | 4.058 | | MAP@1000 | 4.146 | | 召回率@1 | 2.39 | | 召回率@3 | 4.329000000000001 | | 召回率@5 | 5.418 | | 召回率@10 | 7.198 | | 召回率@20 | 9.588000000000001 | | 召回率@100 | 17.371 | | 召回率@1000 | 45.206 | | 精確率@1 | 2.39 | | 精確率@3 | 1.443 | | 精確率@5 | 1.084 | | 精確率@10 | 0.72 | | 精確率@20 | 0.479 | | 精確率@100 | 0.174 | | 精確率@1000 | 0.045 | | MRR@1 | 2.3904 | | MRR@3 | 3.2492 | | MRR@5 | 3.4989 | | MRR@10 | 3.7220000000000004 | | MRR@20 | 3.8869000000000002 | | MRR@100 | 4.0578 | | MRR@1000 | 4.1463 | | 主得分 | 4.537 |

MTEB ArguAna (default)

• 任務類型：檢索 | 指標 | 值 | |------|------| | NDCG@1 | 27.168999999999997 | | NDCG@3 | 41.08 | | NDCG@5 | 46.375 | | NDCG@10 | 51.663000000000004 | | NDCG@20 | 54.339999999999996 | | NDCG@100 | 55.656000000000006 | | NDCG@1000 | 55.875 | | MAP@1 | 27.168999999999997 | | MAP@3 | 37.482 | | MAP@5 | 40.416000000000004 | | MAP@10 | 42.624 | | MAP@20 | 43.376999999999995 | | MAP@100 | 43.578 | | MAP@1000 | 43.588 | | 召回率@1 | 27.168999999999997 | | 召回率@3 | 51.565000000000005 | | 召回率@5 | 64.43799999999999 | | 召回率@10 | 80.654 | | 召回率@20 | 91.11 | | 召回率@100 | 97.937 | | 召回率@1000 | 99.57300000000001 | | 精確率@1 | 27.168999999999997 | | 精確率@3 | 17.188 | | 精確率@5 | 12.888 | | 精確率@10 | 8.065 | | 精確率@20 | 4.555 | | 精確率@100 | 0.979 | | 精確率@1000 | 0.1 | | MRR@1 | 27.6671 | | MRR@3 | 37.6245 | | MRR@5 | 40.6188 | | MRR@10 | 42.8016 | | MRR@20 | 43.5582 | | MRR@100 | 43.7551 | | MRR@1000 | 43.765 | | 主得分 | 51.663000000000004 |

MTEB ArxivClusteringP2P (default)

• 任務類型：聚類 | 指標 | 值 | |------|------| | V 度量 | 41.4944 | | V 度量標準差 | 13.6458 | | 主得分 | 41.4944 |

MTEB ArxivClusteringS2S (default)

• 任務類型：聚類 | 指標 | 值 | |------|------| | V 度量 | 30.6155 | | V 度量標準差 | 14.377999999999998 | | 主得分 | 30.6155 |

MTEB AskUbuntuDupQuestions (default)

• 任務類型：重排序 | 指標 | 值 | |------|------| | MAP | 61.9001 | | MRR | 文檔中未完整給出，需補充 |

📄 許可證

本項目採用 Apache-2.0 許可證。