Granite Embedding 107m Multilingual Onnx

🚀 ibm-granite/granite-embedding-107m-multilingual

granite-embedding-107m-multilingual 是一款多语言嵌入模型，支持多种语言，可用于分类、检索、聚类等自然语言处理任务。

📚 详细文档

支持语言

该模型支持以下语言：

• 英语（en）
• 阿拉伯语（ar）
• 捷克语（cs）
• 德语（de）
• 西班牙语（es）
• 法语（fr）
• 意大利语（it）
• 日语（ja）
• 韩语（ko）
• 荷兰语（nl）
• 葡萄牙语（pt）
• 中文（zh）

许可证

本项目采用 Apache-2.0 许可证。

模型信息

评估结果

该模型在多个 MTEB 数据集上进行了评估，以下是部分评估结果：

MTEB AmazonCounterfactualClassification (en-ext)

• 任务类型：分类 | 指标 | 值 | |------|------| | 准确率 | 72.7136 | | F1 值 | 60.44540000000001 | | 加权 F1 值 | 77.8541 | | 平均精度（AP） | 22.4958 | | 加权平均精度（AP 加权） | 22.4958 | | 主得分 | 72.7136 |

MTEB AmazonCounterfactualClassification (en)

• 任务类型：分类 | 指标 | 值 | |------|------| | 准确率 | 71.6716 | | F1 值 | 65.4221 | | 加权 F1 值 | 74.3533 | | 平均精度（AP） | 33.7567 | | 加权平均精度（AP 加权） | 33.7567 | | 主得分 | 71.6716 |

MTEB AmazonPolarityClassification (default)

• 任务类型：分类 | 指标 | 值 | |------|------| | 准确率 | 66.5804 | | F1 值 | 66.2191 | | 加权 F1 值 | 66.2191 | | 平均精度（AP） | 61.340799999999994 | | 加权平均精度（AP 加权） | 61.340799999999994 | | 主得分 | 66.5804 |

MTEB AmazonReviewsClassification (en)

• 任务类型：分类 | 指标 | 值 | |------|------| | 准确率 | 36.412 | | F1 值 | 35.633199999999995 | | 加权 F1 值 | 35.633199999999995 | | 主得分 | 36.412 |

MTEB AppsRetrieval (default)

• 任务类型：检索 | 指标 | 值 | |------|------| | NDCG@1 | 2.39 | | NDCG@3 | 3.527 | | NDCG@5 | 3.9759999999999995 | | NDCG@10 | 4.537 | | NDCG@20 | 5.140000000000001 | | NDCG@100 | 6.526 | | NDCG@1000 | 9.797 | | MAP@1 | 2.39 | | MAP@3 | 3.2489999999999997 | | MAP@5 | 3.499 | | MAP@10 | 3.7220000000000004 | | MAP@20 | 3.887 | | MAP@100 | 4.058 | | MAP@1000 | 4.146 | | 召回率@1 | 2.39 | | 召回率@3 | 4.329000000000001 | | 召回率@5 | 5.418 | | 召回率@10 | 7.198 | | 召回率@20 | 9.588000000000001 | | 召回率@100 | 17.371 | | 召回率@1000 | 45.206 | | 精确率@1 | 2.39 | | 精确率@3 | 1.443 | | 精确率@5 | 1.084 | | 精确率@10 | 0.72 | | 精确率@20 | 0.479 | | 精确率@100 | 0.174 | | 精确率@1000 | 0.045 | | MRR@1 | 2.3904 | | MRR@3 | 3.2492 | | MRR@5 | 3.4989 | | MRR@10 | 3.7220000000000004 | | MRR@20 | 3.8869000000000002 | | MRR@100 | 4.0578 | | MRR@1000 | 4.1463 | | 主得分 | 4.537 |

MTEB ArguAna (default)

• 任务类型：检索 | 指标 | 值 | |------|------| | NDCG@1 | 27.168999999999997 | | NDCG@3 | 41.08 | | NDCG@5 | 46.375 | | NDCG@10 | 51.663000000000004 | | NDCG@20 | 54.339999999999996 | | NDCG@100 | 55.656000000000006 | | NDCG@1000 | 55.875 | | MAP@1 | 27.168999999999997 | | MAP@3 | 37.482 | | MAP@5 | 40.416000000000004 | | MAP@10 | 42.624 | | MAP@20 | 43.376999999999995 | | MAP@100 | 43.578 | | MAP@1000 | 43.588 | | 召回率@1 | 27.168999999999997 | | 召回率@3 | 51.565000000000005 | | 召回率@5 | 64.43799999999999 | | 召回率@10 | 80.654 | | 召回率@20 | 91.11 | | 召回率@100 | 97.937 | | 召回率@1000 | 99.57300000000001 | | 精确率@1 | 27.168999999999997 | | 精确率@3 | 17.188 | | 精确率@5 | 12.888 | | 精确率@10 | 8.065 | | 精确率@20 | 4.555 | | 精确率@100 | 0.979 | | 精确率@1000 | 0.1 | | MRR@1 | 27.6671 | | MRR@3 | 37.6245 | | MRR@5 | 40.6188 | | MRR@10 | 42.8016 | | MRR@20 | 43.5582 | | MRR@100 | 43.7551 | | MRR@1000 | 43.765 | | 主得分 | 51.663000000000004 |

MTEB ArxivClusteringP2P (default)

• 任务类型：聚类 | 指标 | 值 | |------|------| | V 度量 | 41.4944 | | V 度量标准差 | 13.6458 | | 主得分 | 41.4944 |

MTEB ArxivClusteringS2S (default)

• 任务类型：聚类 | 指标 | 值 | |------|------| | V 度量 | 30.6155 | | V 度量标准差 | 14.377999999999998 | | 主得分 | 30.6155 |

MTEB AskUbuntuDupQuestions (default)

• 任务类型：重排序 | 指标 | 值 | |------|------| | MAP | 61.9001 | | MRR | 文档中未完整给出，需补充 |

📄 许可证

本项目采用 Apache-2.0 许可证。